Hayırlı işler hocam. Milyalarca site içinde botlarınız nasıl geziyor? sadece belli domainleri mi geziyor?
Aramasitesi BOT, Her sayfaya girdiğinde o site içindeki bütün linklerini çekiyor... sonra, onların da alt linklerini bulup onlara da girip, onların da linklerini alıyor, parabolik olarak büyüyor kısacası...
CANLI BOT: