Wordpress robots.txt dosyası

Sitemap olarak sadece sitemap.xml belirtmeniz yeterlidir.

Disallow: /cgi-bin
Disallow: /wp-includes
Disallow: /wp-content

Bunlara gerek yok ve pagespeed gibi analizlerde bazı hatalara neden olur.

Allow: /wp-admin/admin-ajax.php ayrıca buna izin verilmesi gerek.

Klasik dosya yeterlidir esasında.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https:siteadresxml

Merhaba,
Allow: /wp-admin/admin-ajax.php

wp'de admin-ajax.php, mevcut sayfanın kullanımı için ve genellikle sayfanın yenilenmemesi için bir json veya xml verisi döndürür.
Bunlar genelde kod statusunde olan verilerdir. Bazı müşterimlerimde görüyor ve kaldırıyorum. Çünkü teknik olarak var olmasının hiçbir anlamı yoktur. + Güvenlik zaafiyatı için sakıncaları vardır.
Siz ise var olması gerektiğini yazmışsınız, bu neden olmalı, açıklayabilirmisiniz?

Öncelikle, ''teknik olarak var olmasının hiç bir anlamı yoktur'' dediğinizde maalesef bir çok kaynağı yok saymış olursunuz.
https://docs.wpvip.com/access-and-routing/robots-txt/

https://aioseo.com/robots.txt
https://rankmath.com/robots.txt
https://www.wpbeginner.com/robots.txt

Dikkat edilirse zaten ''Disallow: /wp-admin/''
İzin verilen dosya ise admin-ajax.php dosyasıdır.
Benden istemiş olduğunuz açıklamayı kendiniz araştırarak elde edebilirsiniz.

Kendi araştırdım , ve ne işe yaradığını biliyorum. Siz admin-ajax.php'nin eklenmesi gerek diye yazdığınız için, dedim heralde teknik detayları biliyordurki böyle yazmış, belki benim bilmediğim gözümden kaçan bir nokta vardır Diye düşünmüştüm. Yanlış anlamayın iyi niyetle sordum.
ama admin-ajax.php'ye hangi durumlarda allow verilir, veya neden verildiğini sizde bilmiyormuşsunuz. Sadece sağdan soldan duymuşsunuz.

Verdiğiniz robots.txt deki örnekleride inceledim orda var evet. ve seo yönünden güçlü siteler onu eklemiş.

+ olarak Verdiğiniz diğer kaynağı siz kendiniz okudunuzmu?
Orda neden allow verilmesinin teknik detayından bahsetmemişler fakat şunu demişler:



Çoklu siteniz varsa ve filtre uygulamak isterseniz ozaman allow verin , ve allow veriyorsunuz aşağdakilerinden birinide altına ekleyin demiş:

 // Add custom rules here
    $output .= 'Disallow: /private-directory/' . PHP_EOL;
    $output .= 'Allow: /public-directory/' . PHP_EOL;

Yani konu sahibinin çoklu sitesi yoksa, sizin verdiğiniz kaynağa göre oraya allow vermenin gerekli olmadığından bahsediyor.

Mesajımıda Yanlış anlamayın, bazıları ekliyor çünkü sağdan soldan görmüşler, ama hangi durumlarda eklenmesi gerektiğini bilmiyorlar. Bende dahil hala teknik detayını bilmiyorum. stackover'de bu durum tartışma konusu oldu, ordaki pro seo uzmanları dahi eklenmesi konusunda hem fikir değil.
Bu her site için yararlı birşey değil, mantıken kodsal çıktıların google tarafından indexlenmesinin hiçbir anlamı yok + bu güvenlik zaafiyatına davet çıkarır. (Dork arayanlar veya yerleştirenler kendi kodlarını googlede tarattığında hangi sitelerde var olduğunu bulabilir. Bu biraz vahim bir durum. )

ve sitenin taranma kotasınıda boş yere yiyecek, oda ayrı bir konu.
Saygılar.

Merhaba,

Allow izni, arama motorlarının ''bu dosyanın'' içeriğini değil, sadece işlevselliğini anlayabilmesi için verilir. Bu dosyanın indexlenmesi değil, işlevselliği önemlidir.
Bu konuda netleşmek gerekiyor.

Ayrıca, taramanın kotasını etkileyecek şekilde tasarlanmamıştır.

admin-ajax.php dosyasına Allow izninin verilmesi, genel olarak yaygın bir uygulamadır ve tanınmış onlarca WordPress uzmanı tarafından desteklenir.
Hatta dikkat edilirse Seo eklentileri bile bu izni otomatik olarak eklerler.

Bu her ne kadar sizin deyiminizle tartışmalı bir konu olsa da yukarıda belirttiğim üzere WordPress dünyasında kabul görmüş uzmanlar bunu uyguluyor ise bende uygulamakta bir sakınca görmem.
Ayrıca bunca yıllık webmaster hayatımda hiç bir sitede admin-ajax nedeniyle bir riske maruz kalmadım.
Sizin gibi ''müşterilerim'' diye ekleme gereği görmediğimden mazur görünüz. Burada bir şey yarıştırma derdinde olan ben değilim.

Şimdi neden sizin görüşünüze katılayım ki? Siz kendinizi WordPress dünyasında otoriter ilan ettiniz de bizim mi haberimiz yok?

Yorumunuzun sonunda Saygılar diye bitirmişsiniz ancak en başında saygısızlık yaptığınızın bilincinde idiniz sanırım.

''Sadece sağdan soldan duymuşsunuz.'' cümlenize ithafen:
Benim uzmanlığımı sorgulamak kimsenin haddine olmadığı gibi sizinde haddinize değildir.
Ordan burdan dediğiniz cümlede; ben uzun yıllardır edindiğim tecrübelerin doğruluğuna emin olduktan sonra bilgi paylaşımında bulunan biriyimdir.
Ama bu illa ki her konuda her virgül noktasını da açıklamak zorunda olduğumu göstermez.

Güzel bir şekilde gelip; ''ben buna katılmıyorum, tercihen uygulanırlığı bazı platformlarda tartışma konusu olmuştur'' gibi bir yorum yazsaydınız ona göre cevaplanır ya da cevaplanmaz, konuyu okuyanlarda buna göre araştırmalarını yaparlardı.

Uzatmazsak sevinirim.

Selametle.