hocam öyle saçmasapan linkleri alıyor ki bir forumda konu eklemekten tut rep vermeye kadar çok değişik bir program forumdaki bütün linkleri indexliyor
arkadaşın verdiği programı kurdum az önce ilk dakikadan kendini belli etti sadece ana linkleri alıyor ve arayüzü gerçekten çok basit kullanıma sahip.
ayrıca robots.txt yi okuyo ve ordan disallow ettiğiniz bölümleri sitemapa eklemiyo bildiğim kadarı ile