Kolayca robots.txt dosyanızı test edin

Arama motoru optimizasyonu ile ilgilenen herkes robots.txt ile içli dışlı olmak zorunda, bunu defalarca söyledik, yine söylemekte zarar görmüyorum. Robots.txt dosyalarımızla arama motorlarının robotlarını yönlendirebiliriz, yani kısacası kontrol bizde. Yapımları çok zor olmayan bu arama motorlarının güncellenmeside çok zor değildir. Ufak bir txt dosyasının üzerine yazılan kodcuklardır. Fakat yazdığınız kodun ve ya denediğinizin farklı bir kodun doğru olup olmadığını size çoğu zaman arama motorları direk söylemez, kendiniz bulmalısınız. Bu yüzden robots.txt test etme ihtiyacı duyarsınız.

Robots.Txt Ne İşe Yarar ?
Robots.txt kısa ve yüzeysel tabiriyle , arama motorlarını sitenizin neresini tarayıp, neresini taramaması gerektiğine dair bilgiler sunar. Alttaki resimde daha detaylı anlayabileceksiniz ;



Resim 1 robots.txt bildirilmemiş bir sistem, bot linkleri takip ederek bulabildiği yeri buluyor, gidebildiği yere kadar gidip indexliyor. Sağda görünen resim ise robots.txt ile arama motoru botlarına emirler veren bir sistem, admin klasörüne girme, privete ve tmp klasörlerine girme gibi emirler verilmiş durumda, hem güvenlik açısından hemde kontrolun sizde olması açısından robots.txt dosyalarının önemi çok büyük. Bu sebepten yazdığımız robots.txt kodlarını her zaman test ederek doğru çalıştığına emin olalım, robots.txt dosyasında yapacağını ufak bir dalgınlık sitenizin çok önemli sayfalarının indexlenmemesini sağlayabileceği gibi bu durum size kısa vadade zararlar açacaktır.

Robots.txt Dosyamı Nasıl Test Ederim
Benim devamlı kullandığım ve tavsiye ettiğim bir site olan froobe üzerinden kolaylıkla dosyasını check edebilirsiniz. Hatalarınızı düzeltip kusursuz bir robots.txt dosyası yaratmanız, botun daha hızlı anlayabileceği bir robots.txt dosyası yaratmanız, her anlamda sizlere katkı sağlayacaktır, en başta hız ve standartlar.

Kaynak : http://www.seogaste.com/robots-txt-test-etme/

ÇOk güzel yerinde bir konu