Doğru hocam. Test etmek için web master tools'ta robots.txt test alanına o gösterdiğiniz yerdeki bir dosyayı çağırın orada izin verildi yazar. ama o robots.txt hemdn güncellenmiyor web master toolsta. online robots.txt testerlardan deneydbilirsiniz.