Bu sorduğun robots.txt dosyasının içinde yazıyor bunu burada verirsen söyleyebiliriz