robots.txt dosyasına bakın yazmış olabilirler