Gsitecrawler bi bakın

Gsitecrawler programı her sayfayı tek tek acar sayfa baslıgına kadar listeler bu nedenle cok bandwidth kullanır. ben 35.000 sayfa indexlemiştim bir gun sonra webalizerden baktım trafik tavan olmus aylık kotanın yarısını bir gunde bitirmiş. ve sitenizi indexlerkende sayfalarınız cok gec acılıyo veya hatalar cıkıyo 500 internal server hatası gibi cunki sitenizde yogunluk yaratıyo arka arkaya sayfaları cekiyo... Bu programı kullanırken dikkatli olmak lazım..

iyide arkadaşlar bunu kötü niyetli kişiler sitelerin alehyine kullanabilir büyük bir siteyi indexletir site yavaşlar durur çünkü ftpden bi dosya atılmıyor direk adresi yazıyorsun bitiyor olay