Sitenizin sorgu istatistiklerini incelerken karşınıza Googlebot un veya başka bir botun hostunuzda robots.txt adlı dosyaya ulaşmaya çalıştığını görebiliriniz.

Peki bu Robots.txt ne işe yarar ?

Robots.txt aslında bilinenin aksine sitenizde robotların girmemelerini istediğiniz sayfaları belirtmenize yarar. Mesela bir yönetim panelinizin arama motorları tarafından indexlenmesini istemiyorsunuz. Bunu robots.txt dosyasında belirterek sağlayabilirsiniz.

Robots.txt dosyasını bir çok webmaster kullanmaz. Ama siz web sitenizin güvenliğine önem veriyorsanız ve bazı dosyaların botlar tarafından gezilmemesini istiyorsanız ya da daha yapım aşamasında olan bir sitenizin indexlenmesini istemiyorsanız bu dosyayı kullanmanız gerekmektedir.

Robots.txt dosyasını ana dizine atmanız gerekmektedir. domain.com/robots.txt gibi

Örnek Kullanım Şekli ;

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /muratozcirpici/

Bu şekilde yaparsanız bütün botların cgi-bin , tmp ve muratozcirpici klasörlerine girişini engellemiş olursunuz.

Tek robotluk komut vermek istiyorsanız ;

User-agent: OzcirpiciBot
Disallow: /

şeklinde kullanabilirsiniz.

Robotların girişini engellemek istediğiniz bir dosya veya klasör yoksa bu dosyayı kullanmanız gerekmemektedir. Unutmayın ki robots.txt arama motorlarında üst sıralara çıkmanızda yardımcı olmayacaktır.

Daha detaylı bilgi için ulaşabileceğiniz adres ;

Web Server Administrator's Guide to the Robots Exclusion Protocol

Orjinal Kaynak :The Web Robots Pages