şeklinde yaparsam doğru olur mu? Yani arama motorları siteme girdiği zaman site haritamın haber içeriklerini ikiye bölüp ilk kısmı olan "sitemap-news-01.xml" bu dosya arşivim olduğu için indexlemesini istemiyorum. Bu şekilde hazırlamış olduğum robots.txt dosyası sizce doğru mudur?
Selam,
Google sitedeki URL'leri bulmadan site haritalarını kullanır; ama farklı yerlerden aldığı sinyallere de bakar. Siz her ne kadar sadece o site haritasındaki URL'leri engellesenizde ilgili URL'leri google siz noindex vb. talimat vermediğiniz müddetçe indexleyebilir.
Yerinizde olsam o haberleri ayrı bir kategoriye alır ve taranmasını istemiyorsam disallow verir veya indexten kaldırılmasını istiyorsam noindex veriridim.