Normalde wp de robots.txt dosyasını otomatik olarak oluşturulan dosya olarak bırakırım ve ilgilenmem.
Bugün bir siteminkine tesadüfen baktığımda
User-agent: * Allow: / Sitemap: https://www.siteadi.com/sitemap-1.xml Host: crypto-exchanges.bizşeklinde olduğunu gördüm.
Bilgisayarda aşağıdaki içerikte yeni bir dosya oluşturdum ve diğerinin üzerine yazdırdım. Ancak adres çubuğuna robots.txt adresini yazıp içeriğine baktığımda hala yukarıdaki gibi görünüyor. Ama dosyanın içeriği aşağıdaki gibi.
Bunun sebebi ne olabilir?
User-Agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.siteadi.com/sitemap.xml