Robots.txt siteye göre değişir kullanımı.