WMT Anlaşılmaz sorun

WMT den bulunamayan url ler için defalarca kaldırma isteği yollamama ve aylar hatta bir çoğu yıl geçmesine rağmen hala aynı sayfalar için 404 hatası alıyorum. Böyle bir durumla karşılaşan oldumu?

WMT sitenize bakıyor site sisteminizde demekki yolunda gitmeyen birşeyler mevcut.
Hatalı sitemap veya sitenizin içerisinde bulunan hatalı linkler.
Sorunu WMT üzerinde değil siteniz üzerinde arayınız.
Kırık linklerin üzerine tıkladığınızda sayfanızda nereden bağlantı verildiğini görebilirsiniz.

7 yıllık bizim site, 3 versiyon ve url yapısı değiştirdi
biz hala 5 yıl önceki sayfaları bile görmeye devam ediyoruz.
istediğin kadar url kaldır yap yine gelmeye devam ediyor
bunun sebepleri için tahminlerim

1-hala sisteminden kaldırmadığı sayfalardaki site içine verdiğiniz linkleri bu sayfalarda görüp gelmeye devam ediyor
2-size bağlantı veren başka sitelerde bu linkleri hala gördüğünden gelmeye devam ediyor
3-eğer sitemap göndermişseniz bu linkleri buradan görüp gelmeye devam ediyor

bu linkler tükenisiye kadar gelmeye devam edecek amele
o zaman url kaldırın ne anlamı var
biz bu soruyu soralı çok oldu hala cevabını bulamadık

Malesef o bendede var maelsef:d hala geliyor geliyor linklerde sabit bir kelime varsa o sabit kelimeyi robots.txt ile engelleyebilirsiniz.

404 lere robots.txt önermem
bu seferde google arama sonuçlarında bu sitenin robots.txt olduğundan yazısı çıkar
yani indexten yine kaldırmaz
siz 404 sayfalarınızın varlığından haberdar bile olmazsınız
404 ten sonra robots.txt kullanmak hırsız girdikten sonra kapıyı kilt vurmak gibi bir şey olur

15 yıllık tecrübeme dayanarak söylüyorum
robots.txt'i gizli sayfalarınız,klasörleriniz,vb. ve istemediğiniz botları engellemek dışında hiç kullanmayın

Site haritasını sildim yeniden gönderdim bakalım işe yarayacak mı...

Site haritasını web master toolstan kaldırınca google un tamam abi dediğini zannediyorsunuz.

yani kaldır demeklede kaldırmıyor.
bir aya önce aklıma bu sitemapin içindeki linkleri tamamını silip sadece ana sayfaya 1 tane link verip göndermek geldi.
Yalnız dikkat sitemap dosyası aynı ad olmalı.
ondan sonra bu sitemap i gönderdim.
Normalde bir sitemapi yükledikten sonra kısa bir süre pending yazar.
benim gönderdiğim sitemap tam 3 gün pending yazısı kalkmadı
bence google bu sitemapteki linklere bir işlem yaptıktan sonra sitemap kabul etti

Gördüğün bulunamadı hatalarını kaldırmazsan sana ciddi bir zararı olmayacaktır. 404lerin bir kısmı anlık bot geldiğinde sitene erişememesinden kaynaklanabiliyor. Yayında olup 404 olarak raporlandıysa nedeni bu.
O alanda görmek istemiyorum diyorsan 301 yaparak çözebilirsin.

Siteye erişemediğinde 502-503 hatası verir yahu 404 hatasıyla ne lakası var.