Yeni oluşturduğum sitemi Arama motorları ulaşımına kapattım. Ayarlamaları yaptıktan sonra Sitemap eklentisini kurdum. Daha sonra arama motorlarına açtım. Ancak Google Webmaster'da sitemapı tanıttığımda sitemapı tanımıyor.
"Google bot gibi tara" dediğimde ise robots.txt tarafından reddedildi diyor.
Sitemapı sildim tekrar ekledim, güncelledim. Sitemap eklentisi tarafından robots.txt dosyasını oluşturmasını iptal ettirdim kendim ekledim robots.txt dosyasını.
siteadi.com/robots.txt dediğimde ise
Çıkıyor yani her sayfa serbest durumda. Ama Google hala eski robots dosyasına göre hareket ediyor. Ne yapmam gerek?
Edit:
Allow haline getirdim ama Google Webmaster'da durum hala eskisi gibi.