basit çaplı da arama motoru yazacaksanız udacity.ye bir göz atmanız faydalı olacaktır diye düşünüyorum.
https://www.udacity.com/course/cs101

çok büyük yapılar olduğunda en mantıklı yol kendi yapınızı uygun şekilde oluşturmanız.
php ile yapılamaz değil yapılabilir. ancak bilinçli şekilde programlanmadığında diğer arkadaşların da dediği gibi kaynak tüketiminde sıkıntı olabilir. ve çok fazla sayfa crawl edeceğiniz için bu problemle karşılaşmanız çok uzun zaman da almayacaktır.

veritabanı konusuna gelecek olursak hadoop ve mongodb güzeldir..
mysql ile de işin içinden çıkılabilir ancak optimizasyonu çok iyi şekilde yapmanız gerekir.
bu kadar büyük çaplı olmasa da fazla veri yükü olan bir projede percona derdime deva olmuştu. (mysqlperformanceblog.com)

"php ile neler yapılabilir?" için bu videoyu da paylaşmak istedim.
http://www.paylas.com/video/istanbul...i-huseyin-mert

umarım projeniz rafa kalkmaz ve bir an önce gün yüzüne çıkar.
çok özel değilse (ki kullanıcılar arama yapacak demişsiniz) gelişmelerden haberdar ederseniz memnun olurum.

iyi çalışmalar..