Google: SEO, robots.txt ve sitemap hakkında çözemediklerim.

Türkiye'nın yurt dışı temsilciliklerinin tanıtıldığı bir website hazırlıyorum. Adsense,search console,analytics her şeyi tamam. WP seo eklentisi olarak All in One SEO Pro kullanıyorum. Robots.txt'de x url'si ile başlayanları engellediğim (sanırım engelleyebildiğim), url'ler google'da indexleniyor. Seo eklentisi ile site başlığı ve açıklamasını bir türlü indexlenen url'yi search üzerinden temizle yaparak göstertemiyorum. Ben robots.txt'ye göre (sanırım) sadece blog yazılarının ve listings yani büyükelçiliklerin tanıtıldığı site sayfalarını göstertiyorum. Ama disallow yaptıklarım'da indexleniyor.


Mesela londra büyükelçiliği. Title aynı değil, açıklama yok. Aşağıdaki fotoğraflar ise indexlenmesini engelleme çalıştığım (yine sanırım) url'lerin indexlenmesi.


Search console indexlenen sayfaları ve sitemap'ı güncellemiyor mesela. Yeni girilen içerikleri çekemiyor o yüzden. Diğer ss'ler:


Bu da ise güncellenmeyen, eski scriptten kalma sayfaların indexlendiğini gösteren search console sayfası:


Genel olarak istediğim yardımlar; robots.txt ile engellemeye çalıştığım url'lerin indexlenmesi, indexlerin güncellenmemesi ve sitemap'ın güncellenmemesi. İndexlenmesini istediklerimi indexlemiyor, indexlenmemesini istediklerimi indexliyor google. Sitemap.xml'de 4 tane yer var ben 3'ünü search console'a ekledim diğeri gereksiz çünki. Galiba direkt sitemap.xml olarak eklesem diğer gereksiz yeri de eklerdi ama eklememe gerek kalmıyor çünki onu da indexliyor.

Değerli hocam merhaba.

Öncelikle ilgili sayfanızın Google botu tarafından engellenme durumuna maruz bırakılıp bırakılmadığını sorgulamak adına robots.txt kontrol aracını inceleyebilirsiniz: Test Aracı / Kaynak

Eğer buna rağmen index almaya devam ediyorsa SEO eklentinizin her bir içerik/sayfa yapısına atanabilecek etiketleri ekleyerek de sayfaya meta eklemesi yapabilirsiniz. (<meta name=”robots” content=”noindex”> )
Kullandığınız SEO aracında kısmı bilmiyorum ama Rank Math için bu şekilde ilgili sayfayı ya da içeriği manuel olarak noindex etiketi ile sitede paylaşabilirsiniz.

Attığınız google linkindeki kısımlara, disallow olan dizinleri yazıyorum ve "İZİN VERİLDİ" diyor.

bu kısmı tam olarak anlayamadım. seo eklentisinin içerik/sayfa yapılarına nasıl meta etiketi atayacağım? robots.txt'deki çoğu dizin tema özelliğindeki linkler, dosya olarak o dizinler yok. mesela post-tag

kullandığım seo eklentisinde bahsettiğiniz kısım yok herhalde, ben noindex kısmını eklentide bulamadım.

Hocam bazen her ne kadar noindex e tabii tutsak da Google bazen ilgili sayfayı indexlemiş olabiliyor.

Eklentiniz için bir şey diyemeyeceğim hocam, rank math otomatik taşıma özelliği mevcut. Tüm verilerinizi taşıyıp sayfaya ek olarak meta eklemesi yaptırtabilirsiniz.

Kullandığım seo eklentisini devre dışı bıraksam veya kaldırsam, dediğiniz eklentiye geçsem Search console gibi yerlerde bir şey güncellememe gerek var mı veya indexlenmede bir problem oluşur mu? Sizin bahsettiğinize geçeceğim. Herhangi bir url kaldırma,temizleme veya sitemap değişikliği yapmama gerek var mı Search console'da?

@Orun; Bahsettiğim gibi sizin dediğiniz eklentiye geçersem blog yazılarını ve temsilcilik sayfalarını ayarlayabilirim ama asıl istediğim (mesela post-tag, product, region) şeyler wordpress dizininde yok, temaya ait bağlantılar onlar. Onları bahsettiğiniz kodda nasıl noindexlerim. Seo eklentilerinin görebileceği bir şey olmadığı belli. Çünki onları düzenleyebilecek bir bağlantı yok wordpresste. Blog yazısına edit der düzenlersin ama bu asıl engellemek istediklerimde öyle bir şey yok.

Değerli hocam eklentilerde genellikle /xxx/(.*) komutu ile verilen yol altında çoklu URL’leri adreslemek yani bağlı olduğu sayfaları belirtmek için kullanıyoruz. Robots.txt dosyanıza ekleyip test aracıyla doğru çalışıp çalışmadığını kontrol edebilir misiniz?

Olumsuz şöyle bir durum olur, index almış sayfalarınız bir anda noindex e tabii tutulacağı için siteniz zarar görebilir. Onun için ilgili sayfaları 301 ile alakalı sayfalara, alakalı sayfa yoksa ana sayfaya bağlayıp o şekilde kaldırma aracına gönderin.