G-site crawler hakkında

Arkadaşlar gsite crawler kullanarak sitemap oluşturuyorum...
ilk önce internet üzerindeki linkler felan inceleniyormuş sonra site haritasına geciyormus fakat 283.000 url buldu hala devam ediyor. acaba bunun tamamlanması daha ne kadar sürer ve gsite crawlar hakkında bilgi verecek arkadaşlar varsa bizi genel olarak bi aydınlatabilirmi?
site:Sindir.net Türkiye'nin Türkçe Program indirme Sitesi [ indir ] - www.sindir.net

aynı sorunu yaşıyorum
21000 link buldu daha yarısı bile değil bitecek gibi de gözükmüyor
alternatif bir sitemap generator arıyorum ancak hala bulamadım
yazdığım konu da da cevap yok
https://www.r10.net/webmaster-genel-k...tavsiyesi.html

http://www.wonderwebware.com/sitemap...r/SiteMapG.exe

bu programı kullanıyorum harika bi program. tavsiye ederim. gsite crawler kadar iğrenç bi program yok

hocam harikasın hemen deniyorum

hafta sürdüğünü hatırlıyorum
bereket artık kod yazmayı öğrendim de kendi sitemapimi kendim oluşturuyorum. yoksa gsite crawler çekilecek çile değil.

Bandwidthimi tüketti,
Adsenseimi banlattı,
ömrümü çürüttü...

çok zorda kalmazsanız gsite crawler kullanmayın :d

Adsenseimi banlattı,
bunu nasıl becerdi

hocam öyle saçmasapan linkleri alıyor ki bir forumda konu eklemekten tut rep vermeye kadar çok değişik bir program forumdaki bütün linkleri indexliyor
arkadaşın verdiği programı kurdum az önce ilk dakikadan kendini belli etti sadece ana linkleri alıyor ve arayüzü gerçekten çok basit kullanıma sahip.

ayrıca robots.txt yi okuyo ve ordan disallow ettiğiniz bölümleri sitemapa eklemiyo bildiğim kadarı ile

her işlem sayfasını disallow etmemiz hem uzun sürer ayrıca sorun sadece bu değil gsitecrawler ı çalıştırdığımdan bu yana toplam 1 gün olmuştur herhalde indexlemesi çok uzun sürüyor ve uzun sürmesi de bw nin tükenmesi için güzel bir neden