Bir çoğumuz search console ile google gibi getir yapıyordur son günlerde bi sitem üzerinden google gibi getir yaptığım zaman robots.txt ulaşılamadı hatası almaya başladım.
Sorunun tam kaynağını bulamıyorum çünkü robots.txt ana dizinde ekli ve şu şekilde. Bu sorunu yaşayan var mıdır? Forumda biraz araştırdım bi arkadaşımız yaşamış ama net cevap göremedim.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php