GSiteCrawler türkçe olmadığı için ve benimde çok bilgim olmadığından ayarlarıyla kurcalarsam belkide düzeltemeceğim yanlışlıklara sebep olmuş olabilirim bu sitede bilmiyorum sitenin bütün konularını mı alıyor yoksa eklendiği andada ekleyebiliyormu ama bana dinamic ve güzel geldi bulamazsam yine GSiteCrawler yapcam ama böyle sitemap sayfası oluşturmuyor "GSiteCrawler" ?:S
GsiteCrawler sadece çalıştırdığın andaki haliyle sitenin bütün bir listesini çıkartıyor. Menülerde Banned URL diye bir bölüm var, oradan eklediğin sayfa ya da klasörleri listeye eklemiyor. Onun dışında sitenden robots.txt dosyasını da indirip oradaki ayarlarınada sadık kalıyor. Ayrıca Google' dan da indexlenmiş sayfalarının listesini çekiyor ve onları zaten indexlenmiş oldukları için sitemap dosyasına eklemekle vakit kaybetmiyor. Aşağıdaki adreste programın ve sitemap servisinin kullanımıyla ilgili detaylı bir yazı var. Umarım işe yarar...
Burası