5 tane kelime sınırlamasını ben koydum banlanma ihtimaline karşı ortalama 100 yakın kelıme gelıyor belirli sürelerde aradan rastgele 5 tane cekıyor.

belirli kelimeler ile adrese request edildiğinde en sonki kelime yığını cache den gönderiliyor bu en saglıklı google yahoo ve tecnorati den geliyor bot zaten belirli sürelerde çalışırsa süreklı guncel kelımeler cekebiliyor örümceklerin yenileme süreleri orantılı çalışarak örneğin.

senin dediğin gibi örümceklerin cache attığı yerden alıyor diyebiliriz.