Tekrar Selam,

Bazi bulabildigim baska bilgileri de sizin coktan bunlari kesfetmis olma ihtimalinize ragmen gormeyen ve bilmeyenler icin paylasmak istedim. Umarim yarari olur.

Asagidaki adreste Google Bot ile ilgili akliniza gelebilecek her turlu sorunun cevabi var. Yalniz ingilizce, buyuk ihtimalle Turkcesi de vardir ama nasil bulacagimi bilmiyorum.

Webmaster Help Center

Ozellikle Google Bot'u block etmek icin detayli bilgi asagidaki sayfada mevcut:
Webmaster Help Center - How do I block Googlebot?

For instance, to block Googlebot entirely, you can use the following syntax (Googlebot'u tamamen blok etmek icin asagidaki syntax'i kullanabilirsiniz):

User-agent: Googlebot
Disallow: /

Allowing Googlebot
Googlebot'u Onaylamak
If you want to block access to all bots other than the Googlebot, you can use the following syntax (Googlebot haricindeki tum botlari blok etmek ve sadece Googlebot'a onay vermek istiyorsaniz asagidaki syntax'i kullanabilirsiniz) :

User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:

Googlebot follows the line directed at it, rather than the line directed at everyone. (Googlebot kendisine yonlendirilen satiri izleyecektir, tum diger herkese yonlendirilen satiri degil.)

Diger faydali kaynaklar:
Matt Cutts: Gadgets, Google, and SEO » Google/SEO

Asagida muthis bir forum adresi veriyorum. Google bot ile ilgili problemlerin tartisildigi bir postun direkt linki ama bu forumu mutlaka takip edin cok faydali oldugunu goreceksiniz. Genel olarak robots.txt dosyasi ile ilgili bir seyler yapmaniz gerektigi soyleniyor. Bunu nasil yazacaginiz ile ilgili oneriler bu forumda mevcut.
http://drupal.org/node/81735

Umarim faydasi olur...

Sonsuz Saygilarimla,
Deniz