Robots.txt oluşturma

Öncelikle herkese merhabalar,

Robots.txt oluşturmak için bilgi topladım fakat bir konuda çok net bir bilgi bulamadım. Robots.txt dosyasının içerisinde sitemap yer almalı mı almamalı mı? Alması durumunda spam oluşturur falan gibi şeyler okudum, bazı makalelerde ise yer alması iyi olur deniyor. Eğer sitemap eklersek nasıl eklemeliyiz. Birde son olarak aşağıda yer alan robots.txt dosyasına başka bir şey eklememe gerek var mı?

Yardımcı olabilecek varsa çok mutlu olurum


User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Robots txt içinde sitemap dursa da olur durmasa da olur.
Durması daha düzenli, ben hep sitemap adresini eklerim robots.txt'ye
Sitemap: https//www.aasd.com/sitemap.xml gibi ekleyebilirsiniz.

Google botlarının indexlememesini istediğin yerleri robots.txt de disallow olarak belirtebilirsin .

Ayrıca Robots.txt 'nin mantığı siteye gelen google botlarının sitedeki davranışlarını belirler. Sitemap.xml dosyasını robots.txt içerisine eklemende fayda olacaktır. Bu kuralı göz önünde bulundurup robots.txt yi düzenleyebilirsin

Hocam mesela yoast eklentisi ile ben yazar arşivlerinin indekslenmesini kapattım. Robots.txt dosyası içerisine Disallow olarak eklemem gerekiyor mu? Şuan olduğu gibi kalsa robots.txt herhangi bir sorun olmaz sanırım.



Hocam çok teşekkür ederim bilgiler için. Son olarak robots.txt dosyasını nereden düzenleyebilirim söyleyebilir misiniz?