Sitemap CRAWL sorunu

Merhaba,

Örnek vererek anlatacağım:

Bir veri yapım var ve bu veri içerisinde 350K bağlantı var.

sitemap.xml içeriğim şu şekilde:

haber.xml 10K
kategori.xml 110
data.xml 350K

Google şu anda sadece /data/data-adi olan içeriklerimi tarıyor ve uzun süredir de bu şekilde devam ediyor.

Haberlerimi daha hızlı taraması için 78 haber olacak şekilde güncel bir site haritası yaptım. google-news.xml ancak buraya da en son 6 gün önce uğramış.

Açıkçası bir çıkmazın içerisine girdim.

sitemap.xml içerisinden data.xml kaldırsam, search-console üzerinden sitemap.xml'i silip tekrardan eklesem (data.xml) olmayacak.... Bir sorun olur mu?

Yapamayacaklarım:
robots.txt'den engelleyemem çünkü data/data-adi/haber vb gibi bağlantılarım var...

Siz olsanız ne yaparsınız?

sitemap.xml içinden data.xml i kaldırsan bile google o linki gördüğü için yine taramaya devam eder, anca linke 410 verirsen gelmeyi bir süre sonra keser. Haberler içinde news sitemap oluşturup onu googleye yollarsın ya da rss oluşturup haberleri rss linkinde paylaşırsın eğer fazla haber girmiyorsan

Merhaba, sitemap'lerde 50k limiti bulunuyor bu yüzden sorun yaşıyor olabilirsiniz.

Teşekkürler. Siz daha önce 410 yaptınız mı? Eğer öyleyse ne kadar sürede taramayı kesiyor?


Şu anda sitemap.xml'den data.xml'i kaldırdım 410 verdim ve erişebileceği hiç bir yer yok. 410 dönüyor bana... ama malumunuz hala hafızada tuttuğu bağlantılar var, onları taramaya devam ediyor. dataları...

Tekrarlayayım, ne kadar sürede taramayı keser tahminen?

Teşekkürler. Onunla ilgisi yok.

410 gördükten sonra bir süre sonra taramayı kesiyor. 404 görürse yine zorluyorda 410 da daha zorlayıcı olmuyor fakat diğer ziyaretlerinde topladığı linkleri yine belli aralıklarla gelir.