İmleme, add url, ping gibi servisler kullanın. Milyarlarca sayfanın içerisinden botların yeni bir sayfayı görmesi biraz zor tabi.