Search Console'daki Index sorunu

Dizine eklenmiş sayfalarıma baktığımda sitemde karşılığı olmayan urller görüyorum. Önceden sayfa sayfa kullanıyordum temamı ama artık Infinite scroll kullandığım için sayfa sayfa tema kullanmıyorum. Ben hiçbir zaman sayfalarımın zaten Google'a indexlenmesini istememiştim, saçma sapan sayfalar indexlenmiş, güpgüzel makalelerim duruyor hala indexlenmemiş. Bunları nasıl toptan engelleyeceğim arkadaşlar,

disallow komutu falan var mı?

Bir de yıllar önce amp kurmuştum, sonra kaldırdım, aradan geçen aman bir yıldan fazla hala, amp saçmalığının indexi duruyor, komple amp ve sayfaların indexlenmesini kaldırmak istiyorum, yalnızca makaleler olacak o kadar. YOAST'ta tüm ayarları yaptım yalnızca makaleler indexlenecek şekilde ama temanın kodlarında sanırım bir sorun var.

Merhaba,

robots.txt dosyanızı açın ve User-agent: * altına ekleyin:

Disallow: /amp*
Disallow: /amp?
Disallow: /page/*/
Disallow: /page/amp
Disallow: /page/amp/?
Disallow: /page/amp/*/

Kaydedin. Zamanla silinecektir veya robots.txt dosyası tarafından engelleniyor uyarısı verecektir yani sorun çözülecektir.

Ayrıca, parameter tarzı engellemek istediğiniz URL varsa şöyle yapabilirsiniz:

Örneğin paylaş butonundaki slash sonrası parametre içermesini istemediniz, o halde şöyle ekleyeceksiniz:

Disallow: /?share=twitter

Bu sayede URL sonundaki o parametre hiçbir şekilde dahil edilmez.

Yine örneğin bir sayfa fonksiyonunu engellemek isterseniz şöyle:

Disallow: /?ajax=get-list

Son örnek, mobil fonksiyonu engellemesi

Disallow: /?page=mobile

...gibi gibi. Bu şekilde engellerseniz sorun kalmaz. Hızlı indeks alabilmek için robots.txt dosyası önemli. Bu dosyayı güzelce modifiye ederseniz iyi olur.

Çok teşekkür ederim, özenerek yazılmış harika bir cevap.