Google botlarının indexlememesini istediğin yerleri robots.txt de disallow olarak belirtebilirsin .
Ayrıca Robots.txt 'nin mantığı siteye gelen google botlarının sitedeki davranışlarını belirler. Sitemap.xml dosyasını robots.txt içerisine eklemende fayda olacaktır. Bu kuralı göz önünde bulundurup robots.txt yi düzenleyebilirsin
Hocam mesela yoast eklentisi ile ben yazar arşivlerinin indekslenmesini kapattım. Robots.txt dosyası içerisine Disallow olarak eklemem gerekiyor mu? Şuan olduğu gibi kalsa robots.txt herhangi bir sorun olmaz sanırım.
Robots txt içinde sitemap dursa da olur durmasa da olur.
Durması daha düzenli, ben hep sitemap adresini eklerim robots.txt'ye
Sitemap: https//www.aasd.com/sitemap.xml gibi ekleyebilirsiniz.
Hocam çok teşekkür ederim bilgiler için. Son olarak robots.txt dosyasını nereden düzenleyebilirim söyleyebilir misiniz?