Sorun webmastertoolsta hocam 1-2 gün içinde yeni robots.txt yi kullanıyor.
Kendime göre en iyi robots.txt yi düzenledim burdada paylaştım. Okumanızı tavsiye ederim.
http://www.bityavrusu.com/wordpress-...obots-txt.html