robots.txt yi yapamadım ?

Arkadaşlar bir robots.txt dosyası hazırladım..ve bunu ftpde anadizine attım.

Atalı 1 ay oldu ama hala sitemi analiz ettiğimde "robots.txt bilgisi bulunamadı" veya "Spider robots are not allowed to spider the web page." hatalarını alıyorum

Acaba yanlış yeremi atıyorum ? Yardımcı olursanız sevinirim şimdiden teşekkürler

Butun sayfalari robotlara kapatmissin. Robots.txt dosyasinin icerigini buraya koyar misin?

www.r10.net/robots.txt burdaki gibi yaptım ?

User-agent: *
Allow: /

yap. 24 saat içinde düzelmezse tekrar yazarsın.

https://www.r10.net/vbulletin/16694-v...obots-txt.html

Burdaki gibi yap

Merhaba,

şu şekilde ayarlayın mesela,

User-agent: *
Disallow:
Sitemap: http://www.karincahosting.com/sitemap.xml

Bu ayarlama tüm botların sitenizi indexlemesini sağlar

bir de yanlış dizine felan atıp atmadığını kontrol et.belki yanlışlıkla alt klasörlere felan atmışda olabilirsin.

Herkese Cevapları için teşekkür ediyorum..Belirtiğiniz şekilde yapacağım