Robots.Txt

Sitenizin sorgu istatistiklerini incelerken karşınıza Googlebot un veya başka bir botun hostunuzda robots.txt adlı dosyaya ulaşmaya çalıştığını görebiliriniz.

Peki bu Robots.txt ne işe yarar ?

Robots.txt aslında bilinenin aksine sitenizde robotların girmemelerini istediğiniz sayfaları belirtmenize yarar. Mesela bir yönetim panelinizin arama motorları tarafından indexlenmesini istemiyorsunuz. Bunu robots.txt dosyasında belirterek sağlayabilirsiniz.

Robots.txt dosyasını bir çok webmaster kullanmaz. Ama siz web sitenizin güvenliğine önem veriyorsanız ve bazı dosyaların botlar tarafından gezilmemesini istiyorsanız ya da daha yapım aşamasında olan bir sitenizin indexlenmesini istemiyorsanız bu dosyayı kullanmanız gerekmektedir.

Robots.txt dosyasını ana dizine atmanız gerekmektedir. domain.com/robots.txt gibi

Örnek Kullanım Şekli ;

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /muratozcirpici/

Bu şekilde yaparsanız bütün botların cgi-bin , tmp ve muratozcirpici klasörlerine girişini engellemiş olursunuz.

Tek robotluk komut vermek istiyorsanız ;

User-agent: OzcirpiciBot
Disallow: /

şeklinde kullanabilirsiniz.

Robotların girişini engellemek istediğiniz bir dosya veya klasör yoksa bu dosyayı kullanmanız gerekmemektedir. Unutmayın ki robots.txt arama motorlarında üst sıralara çıkmanızda yardımcı olmayacaktır.

Daha detaylı bilgi için ulaşabileceğiniz adres ;

Web Server Administrator's Guide to the Robots Exclusion Protocol

Orjinal Kaynak :The Web Robots Pages

Teşekkürler yeni başlayanlar için lazımlı bilgiler.

robots.txt ye sitemap yolu eklenirse indexlemede yardımcı olur diye biliyordum...

robots.txt yapıp ardından sitemapıda googlenin webmaster yöneticisi kısımından gönderirsek daha yararlı olur

yönetici paneline link vermediğimiz takdirde panelin indexlenme ihtimali var mı? Ayrıca robots.txt dosyasının bulunduğu linki açan birisi ordan engellediğiniz dosyaların yollarına ulaşabilir. Ben bu yüzden kullanmıyorum. Ne zaman eklesem panel lamer parçaları tarafından deneniyor.

Kesinikle Önermem Biri Servera Shell Attığı Zaman Sitede Bulunan Bu Robots.Txt Dosyasında Açık oluyor Bu Robots.Txt Sayesinde Sitenin Anasayfasına Basabiliyorlar indexi

Ben Kaç Kere Bastım..

Aferim sana büyük iş başarmışsın..

Bir de alnı dik bir şekilde söylüyor, ben kaç kara bastım diye

Yine de hatırlatma için sağol

kaliteli bir webmaster indexlenmesini istemediği sayfalarını saklar doğrudur ama bu robots.txt ile biraz acemiliğe girer yada sunucu windows ise çaresizliğe.

htaccess bu iş için daha sağlam olanıdır,

eğer bir dizin ise dizinin içine
#deny all access
deny from all
kodlarını, dizindeki bir sayfa ise;
<Files ~ “^\.ht '(or files run')”>
Order allow,deny
Deny from all
Satisfy All
</Files>


ayrıca paylaşımın için teşekkürler, + rep