Googlebot'u doğrulamaYazdır
Ters DNS aramasını kullanarak, adın googlebot.com.tr etki alanında olduğunu doğrulayarak, ardından o googlebot adını kullanıp düz DNS araması yaparak sunucunuza erişen bot'un gerçekten Googlebot olduğunu doğrulayabilirsiniz. Spam göndericilerin veya kötü amaçlı kişilerin sitenize Googlebot gibi eriştiğinden şüpheleniyorsanız bu yararlı bir yöntemdir.

Örneğin:


> host 66.249.66.1


1.66.249.66.in-addr.arpa domain name pointer


crawl-66-249-66-1.googlebot.com.tr.




> host crawl-66-249-66-1.googlebot.com


crawl-66-249-66-1.googlebot.com.tr 66.249.66.1 adresine sahip
Google, izin verilenler listelerine eklemeleri için web yöneticilerine genel IP adresi listesi göndermez. Bunun nedeni bu IP adreslerinin değişebilmesi ve bu adresleri sabit kodlayan web yöneticilerine sorun çıkarabilmesidir. Erişimleri Googlebot ile tanımlamanın en iyi yolu user-agent (Googlebot) kullanmaktır.

ip leri bilmenize gerek yok, kural gereği örümceklerin kendilerini tanımlamaları gerekmektedir.

sitenize girenlerin agent bilgisi ile bunu anlayabilirsiniz.

Google agent listesi
-------------------------------
AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot-Image/1.0"
Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Googlebot/Test (+http://www.googlebot.com/bot.html)
Googlebot/Test
Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)
Mediapartners-Google/2.1
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
gsa-crawler (Enterprise; S4-E9LJ2B82FJJAA; me@mycompany.com)
-------------------------------

php için getenv("HTTP_USER_AGENT");

güncel google ip listesi de ektedir.