Robots.txt ile siteye gelen google botlarının gitmeyeceği yerleri göstermiş olursun.botlar robots.txt yi çok severler ilk ona bakarlar wordpress için ise bunu kullanabilirsin
http://canberkberen.com/robots.txt
bende 7 yıldır merak ediyordum bu robots.txt ne işe yarar diye sağol aydınlandım seneler sonra.