@titreyen kollar: Vardır.

GsiteCrawler'in mantığı, sitemap'a eklemeden önce sayfaya girip denemesidir. Bu yüzden uzun sürer ve bw harcar. Bana da her girdiği sayfadaki URL'leri sorgusuz sualsiz sitemap'a atan birşey lazımdı.

Bu yazılımı 24 saat açık tuttum API sistemden 53K URL aldı. (Milyonlarca sayfa olunca eklenmeyi bekleyen bence başarısız. )