Örnek:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://siteadi.com/sitemap.xml


Disallow: google botlarına bu sayfayı indexleme ve taramama komutunu verir. Sen "/" bu işareti koyarak direkt ana sayfayı taramaması komutunu vermişssin
Yukarıdaki gibi yapılandır. Ek olarak Google botlarının ındexlemesını ıstemedıgın sayfanın dosya adını ekle... "Disallow: /sayfa-adi/" şeklinde.