yilmaz70 adlı üyeden alıntı: mesajı görüntüle
Disallow: /cgi-bin
Disallow: /wp-includes
Disallow: /wp-content

Bunlara gerek yok ve pagespeed gibi analizlerde bazı hatalara neden olur.

Allow: /wp-admin/admin-ajax.php ayrıca buna izin verilmesi gerek.

Klasik dosya yeterlidir esasında.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https:siteadresxml
Merhaba,
Allow: /wp-admin/admin-ajax.php

wp'de admin-ajax.php, mevcut sayfanın kullanımı için ve genellikle sayfanın yenilenmemesi için bir json veya xml verisi döndürür.
Bunlar genelde kod statusunde olan verilerdir. Bazı müşterimlerimde görüyor ve kaldırıyorum. Çünkü teknik olarak var olmasının hiçbir anlamı yoktur. + Güvenlik zaafiyatı için sakıncaları vardır.
Siz ise var olması gerektiğini yazmışsınız, bu neden olmalı, açıklayabilirmisiniz?