Robots dosyasını robot etiketini meta etiketleri ve içeriklerin saldırıya uğrayıp uğramadığına bakın.