
Robots.txt de Sitemap seçiciliği yapma
1
●168
- 20-05-2019, 13:11:41şeklinde yaparsam doğru olur mu? Yani arama motorları siteme girdiği zaman site haritamın haber içeriklerini ikiye bölüp ilk kısmı olan "sitemap-news-01.xml" bu dosya arşivim olduğu için indexlemesini istemiyorum. Bu şekilde hazırlamış olduğum robots.txt dosyası sizce doğru mudur?

- 21-05-2019, 09:41:10landcopper adlı üyeden alıntı: mesajı görüntüle
Selam,
Google sitedeki URL'leri bulmadan site haritalarını kullanır; ama farklı yerlerden aldığı sinyallere de bakar. Siz her ne kadar sadece o site haritasındaki URL'leri engellesenizde ilgili URL'leri google siz noindex vb. talimat vermediğiniz müddetçe indexleyebilir.
Yerinizde olsam o haberleri ayrı bir kategoriye alır ve taranmasını istemiyorsam disallow verir veya indexten kaldırılmasını istiyorsam noindex veriridim.