Umarım fikrinizi tüm kösteklere rağmen sürdürürsünüz.
İnternette bu tarzda büyük aramalarda apache nutch+hadoop teknolojilerinin kullanıldığını okudum. Hatta ara.com.tr bu sistemi kullanıyor. Belki yardımcı olabilirler.

Bunun haricinde daha ufak projeler için scrapy kullanılabilir. Şu anda bir projem için scrapy'i öğreniyorum.

İşin aslı verileri toplamak zor değil, iyi bir sıralama algoritmanız varsa çok iyi yerlere gelebilirsiniz.
Perl ile yazılmış Türkçe siteleri arşivleyen Evliya Celebi:
http://www.ilkertemir.com/index.php?s=Evliya+Celebi

php ile yazılmış olanı bile var: sphider

Kolay gelsin...