bazen robots.txt dosyasında belirtilmiş olabiliyor oraya göz atın harici olarak özel scriptlerde hiç olmayadabilir