Merhaba arkadaşlar.
Normalde wp de robots.txt dosyasını otomatik olarak oluşturulan dosya olarak bırakırım ve ilgilenmem.
Bugün bir siteminkine tesadüfen baktığımda
User-agent: *
Allow: /
Sitemap: https://www.siteadi.com/sitemap-1.xml
Host: crypto-exchanges.biz
şeklinde olduğunu gördüm.
Bilgisayarda aşağıdaki içerikte yeni bir dosya oluşturdum ve diğerinin üzerine yazdırdım. Ancak adres çubuğuna robots.txt adresini yazıp içeriğine baktığımda hala yukarıdaki gibi görünüyor. Ama dosyanın içeriği aşağıdaki gibi.
Bunun sebebi ne olabilir?
User-Agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.siteadi.com/sitemap.xml