Dizine eklenmeyen 122k sayfası var web sitemin

Arkadaşlar merhaba, siteyi search console ekleyince fark ettim, dizine eklenmeyen 122k sayfam olduğunu. Acaba bunun sebebi nedir? İkinci resimde görüldüğü şekilde 122k sayfa var, sanki etiket gibi görünüyor. Bu siteye sorun olur mu? Bundan nasıl kurtulurum?

tarama bütçesini olumsuz etkiler

robots.txt dosyasına bazı kurallar ekleyerek engellemek gerekir. örnek olarak;

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /author/
Disallow:/?s*
Disallow: /*?sort*
Disallow: /*=DESC
Disallow: /*=ASC
Disallow: /*search&tag=*
Disallow: /*search&search=*
Disallow: /archives/
Disallow: /cgi-bin/
Disallow: /feed/
Disallow: /trackback/

Bunlar zaten eklenmemeli.. Robots.txt üzerinden engelleyin, noindex tagı koyabiliyorsanız noindex de koyun o sayfalara

Hocam zaten robots.txt bu sayfaların dizine eklenmesini önlemiş, bu sayfalar neden yada nasıl oluşuyor onu bilmiyorum. Sitelerin kök dizinine bakıyorum, robots.txt dosyasını da bulamadım


Hocam robots.txt bulamadım, yeni kurulan sıfır wordpress siteye bakıyorum onda da yok yada ben bulamıyorum.

https://siteadınız.com/robots.txt

yazarak ulaşabilirsiniz. eğer robots.txt yoksa (olmayabilir) bu durumda oluşturup kök dizine atmanız gerekir.

Robots txt public_html de bulunur. Yok ise kullandığınız seo eklentisinin ayarları üzerinden düzenlemeniz gerek.

Öncelikle yardımlarınız için çok teşekkür ederim, bu davranışlarınızın diğer arkadaşlarımıza da örnek olmasını umuyorum. Tarayıcıdan bakınca bir aşağıda ki gibi bir robot.txt dosyası var görünüyor. Ancak düzenlemek için kök dizine bakınca göremiyorum, kullanılan eklenti rank math seo, bu eklenti üzerinden kontrol edince şöyle yazıyor "WordPress'in içerikleri dinamik olarak işlemesine izin vermek için alanı boş bırakın. Sitenizin kök klasöründe gerçek bir robots.txt dosyası varsa, bu seçenek etkili olmaz ve dosyayı doğrudan düzenlemeniz veya silip buradan düzenlemeniz gerekir."


Bu mevcut robots.txt
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://...............com/sitemap_index.xml

Edit: Acaba ben kendim bir robots.txt oluşturup kök dizine mi atsam?

Hocam ben bu şekilde bir robots.txt dosyası oluşturup kök dizine attım ama zararı olmaz değil mi?

wordpress te robots.txt dosyası oluşturma hakkında araştırma yapmanızı öneririm. ilk gönderinizde çok sayıda URL görünüyor detaylı inceleme yapmak gerekir. robots.txt oluştururken yapay zekayı da kullanabilirsiniz.