• 20-05-2019, 13:11:41
    #1
    şeklinde yaparsam doğru olur mu? Yani arama motorları siteme girdiği zaman site haritamın haber içeriklerini ikiye bölüp ilk kısmı olan "sitemap-news-01.xml" bu dosya arşivim olduğu için indexlemesini istemiyorum. Bu şekilde hazırlamış olduğum robots.txt dosyası sizce doğru mudur?
  • 21-05-2019, 09:41:10
    #2
    landcopper adlı üyeden alıntı: mesajı görüntüle
    şeklinde yaparsam doğru olur mu? Yani arama motorları siteme girdiği zaman site haritamın haber içeriklerini ikiye bölüp ilk kısmı olan "sitemap-news-01.xml" bu dosya arşivim olduğu için indexlemesini istemiyorum. Bu şekilde hazırlamış olduğum robots.txt dosyası sizce doğru mudur?

    Selam,
    Google sitedeki URL'leri bulmadan site haritalarını kullanır; ama farklı yerlerden aldığı sinyallere de bakar. Siz her ne kadar sadece o site haritasındaki URL'leri engellesenizde ilgili URL'leri google siz noindex vb. talimat vermediğiniz müddetçe indexleyebilir.
    Yerinizde olsam o haberleri ayrı bir kategoriye alır ve taranmasını istemiyorsam disallow verir veya indexten kaldırılmasını istiyorsam noindex veriridim.