yilmaz70 adlı üyeden alıntı: mesajı görüntüle
Öncelikle, ''teknik olarak var olmasının hiç bir anlamı yoktur'' dediğinizde maalesef bir çok kaynağı yok saymış olursunuz.
https://docs.wpvip.com/access-and-routing/robots-txt/

https://aioseo.com/robots.txt
https://rankmath.com/robots.txt
https://www.wpbeginner.com/robots.txt

Dikkat edilirse zaten ''Disallow: /wp-admin/''
İzin verilen dosya ise admin-ajax.php dosyasıdır.
Benden istemiş olduğunuz açıklamayı kendiniz araştırarak elde edebilirsiniz.
Kendi araştırdım , admin-ajax.php'nin ne işe yaradığını biliyorum. Siz admin-ajax.php'nin eklenmesi gerek diye yazdığınız için, dedim heralde teknik detayları biliyordurki böyle yazmış, Diye düşünmüştüm. Yanlış anlamayın iyi niyetle sordum.
ama admin-ajax.php'ye hangi durumlarda allow verilir, veya neden verildiğini sizde bilmiyormuşsunuz. (Bende bilmiyorum.)

Verdiğiniz robots.txt deki örnekleride inceledim orda var evet. ve seo yönünden güçlü siteler onu eklemiş.

+ olarak Verdiğiniz diğer kaynağı siz kendiniz okudunuzmu?
Orda neden allow verilmesinin teknik detayından bahsetmemişler fakat şunu demişler:
Çoklu siteniz varsa ve filtre uygulamak isterseniz ozaman allow verin , ve allow veriyorsunuz aşağdakilerinden birinide altına ekleyin demiş,
Yani konu sahibinin çoklu sitesi yoksa, sizin verdiğiniz kaynağa göre oraya allow vermenin gerekli olmadığından bahsediyor. :

Alıntı
For WordPress multisite applications, custom code that defines more specific search engine crawling directives can be added as a plugin. The custom plugin can then be enabled per-network site(s).
 // Add custom rules here
    $output .= 'Disallow: /private-directory/' . PHP_EOL;
    $output .= 'Allow: /public-directory/' . PHP_EOL;
Mesajımıda Yanlış anlamayın, benim bazı müşterilerde eklemişler, ama hangi durumlarda eklenmesi gerektiğini bilmiyorlar. Stackover'de bu durum tartışma konusu oldu, ordaki pro seo uzmanları dahi eklenmesi konusunda hem fikir değil.
Kusura bakmayın, Bukadar detaylı yazıyorum çünkü her site için bu durum yararlı birşey değil, mantıken kodsal çıktıların google tarafından indexlenmesinin hiçbir anlamı yok + bu güvenlik zaafiyatına davet çıkarır. (Dork arayanlar veya yerleştirenler kendi kodlarını googlede tarattığında hangi sitelerde var olduğunu bulabilir. Bu biraz vahim bir durum. Bunun içinde ayrı bir önlem almak gerekir, o verdiğiniz allow'lu siteler bunuda düşünüp önlem almış olabilir, fakat birçok site sahibi bunun farkında değil.)

ve sitenin taranma kotasınıda boş yere yiyecek, oda ayrı bir konu.
Saygılar.