sadece ref leri engellemek için kullanıyorum hitler düşünüyor anlamadım gitti. Kaldırdımmıda düzeliyor hitler
Madem öyle oluyor ozaman kaldır
Robots.txt botların indexlememesini istediğiniz yerler için kullanılır.Yanlış bir robots.txt dosyası ise tabiki düşer.İndex sayınız azalır.Bunu webmasterstoolsdan bakarak görebilirsiniz.robots.txt ile kısıtlanıyor diye belli eder kendini.