Türkiye'nın yurt dışı temsilciliklerinin tanıtıldığı bir website hazırlıyorum. Adsense,search console,analytics her şeyi tamam. WP seo eklentisi olarak All in One SEO Pro kullanıyorum. Robots.txt'de x url'si ile başlayanları engellediğim (sanırım engelleyebildiğim), url'ler google'da indexleniyor. Seo eklentisi ile site başlığı ve açıklamasını bir türlü indexlenen url'yi search üzerinden temizle yaparak göstertemiyorum. Ben robots.txt'ye göre (sanırım) sadece blog yazılarının ve listings yani büyükelçiliklerin tanıtıldığı site sayfalarını göstertiyorum. Ama disallow yaptıklarım'da indexleniyor.
Mesela londra büyükelçiliği. Title aynı değil, açıklama yok. Aşağıdaki fotoğraflar ise indexlenmesini engelleme çalıştığım (yine sanırım) url'lerin indexlenmesi.
robots.txt:
User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
User-agent: Googlebot
Disallow: /explore/
Disallow: /product/
Disallow: /post-tag/
Disallow: /post-category/
Disallow: /region/
Disallow: /listings/
Sitemap: https://x.net/sitemap.xml
Sitemap: https://x.net/sitemap.rss
Search console indexlenen sayfaları ve sitemap'ı güncellemiyor mesela. Yeni girilen içerikleri çekemiyor o yüzden. Diğer ss'ler:
Bu da ise güncellenmeyen, eski scriptten kalma sayfaların indexlendiğini gösteren search console sayfası:
Genel olarak istediğim yardımlar; robots.txt ile engellemeye çalıştığım url'lerin indexlenmesi, indexlerin güncellenmemesi ve sitemap'ın güncellenmemesi. İndexlenmesini istediklerimi indexlemiyor, indexlenmemesini istediklerimi indexliyor google. Sitemap.xml'de 4 tane yer var ben 3'ünü search console'a ekledim diğeri gereksiz çünki. Galiba direkt sitemap.xml olarak eklesem diğer gereksiz yeri de eklerdi ama eklememe gerek kalmıyor çünki onu da indexliyor.