Okumanızı tavsiye ederim
http://www.bityavrusu.com/wordpress-...obots-txt.html