Burası baya karışık, farklı farklı bir çok botun bazılarına izin verilmiş bazılarına ise izin verilmemiş. Daha öncelerden robots.txt dosyanda herhangi bir ek birşey eklemediysen, Google site yöneticisi araçlarından yeni bir adet robots.txt oluşturabilirsin.
Ya da bunu
User-agent: *
Allow: /
bir metin belgesine robots.txt olarak kaydedip FTP'de www'nin içine at
Ftp'mde Bulunan robot.txt'Yi silip
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*ref=
Disallow: /?ref=
Disallow: ?ref=
Disallow: /*ref=*
Sitemap:
http://www.siteadi.com/sitemap.xml.gz
Şeklinde yaptim.Webmaster Tools'da da öyle ayarli cunku.Bu uygulamam dogru mu ?