Merhaba arkadaşlar,
webtools'a bu dosyamı tanıtmak istiyorum. Veya nasıl yapılacaksa onu öğrenmek istiyorum. Oraya kayıt oldum, sitemi doğruladım. robots.txt dosyasını test edin başlığında
http://www.site.com/robots.txt 7 dakika önce 404 (Bulunamadı)
diyor. Bir robots.txt dosyası oluşturdum ve için; User-agent: *
Allow: /
bunu yazıp ana dizinime attım. Bütün sayfaların indexlemesi için ama hâlâ bulunamadı diyor toolsda. Acaba ne yapmam gerek? Robots.txt'ye ne yazıp nereye atmam ve toolsda ne yapmam gerek?
robots.txt hakkında
2
●418