Robots.txt Analizi ve Hataları Tespit Etme

Arama motoru botlarının (örümceklerin) sitenizin içeriğini sağlıklı bir şekilde indexlemesi için gereken Robots.txt dosyasının analizini yapmak artık mümkün. Robots.txt dosyasında yapacağınız bir karakterlik bir hata bile sitenizin yanlış şekilde indexlenmesi yada indexlenmemesine sebep olabilir. Bu yüzden siteniz için oluşturduğunuz Robots.txt dosyasını analiz edip, hatalı ise hatalarını tespit edebilirsiniz.



Check URL kısmına robots.txt dosyanızın bulunduğu dizin linkini yada direk olarak site adresinizi yazabilirsiniz. Ve isterseniz User Agents kısmına hangi arama motoru botlarının (örümceklerinin) standartlarında analiz etmesi için manual giriş yapabilirsiniz. Tavsiyem User Agents kısmına dokunmamanız.
Ve aşağıda Friendfeed.com 'un robots.txt dosyası analizi


Friendfeed'in Robots.txt dosyası analiz sonucu; Robots.txt dosyası hatasız gözüküyor. Başarılı.
Robots.txt analiz servisine BURADAN ulaşabilirsiniz.


KAYNAK: Seohocasi.com
YAZAN: Can Talaylı

Sitemap: URL

i ayrı bir şekilde gösterirseniz daha iyi olur bence son botta sitemap'ı gösteriyor

Can öncelikle bu faydalı ve önemli paylaşım için teşekkür ederim. Değerli bir seo uzmanı olarak seni de http://seohocasi.com da yazar olarak görmek oldukça güzel. Yazılarının devamını merakla bekliyorum.

Güzel Faydalı bilgi Hiç Hatam yokmus

Teşekkurler faydalı bir bilgi. Hiç hatam yokmuş

Bende 22 hata, 5 uyarı çıktı ama nasıl düzelticem yada hataların anlamı ne? Yardım bekliyorum http://www.cepalani.net/robots.txt

Konu ile alakalı sorularınızı yazının original sayfasında yorum olarak sorarsanız, yazar arkadaş cevap verebilir. Ben sadece alıntı yaptım.

http://www.seohocasi.com/robots-txt-...spit-etme.html

guzel calısmam biizm robot bole nasıl sence

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /author
Disallow: /wget/
Disallow: /httpd/


User-agent: Mediapartners-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: ia_archiver-web.archive.org
Disallow: /

Sitemap: http://www.siteadi.com/sitemap.xml