Sormamnın bir kaç nedeni vardı. Neyse arama motoru yapmayı planlıyorsanız.
aşağıdaki açıklamalarım yeterli olacaktır.

Öncelikle bilmeniz gereken DMOZ bir Sosyal sorumluk projesi olduğundan botlar dahil olmak üzere aynı ip'den gelen fazlaca requestleri ip blocking yapar. Curl dahil olmak üzere faklıı referanslar kullansanız bile http sunucusu bilgilerine bakarak yine bloklar.

Sizlere şöyle bir iki bilgi vermek istiyorum.

4 sene önce C++ geliştirmiş Double Bot teknolojisi ile IBM Zeon 3.06Ghz Intel Pentium4 işlemcili 4GB PC 2100 ECC DDR SDRAM bellek kullanan 436GB SCSI depolamaya sahip 2 adet server ile
denedim. inan aldığın verim korkuttuğun bandwidth 'e deymiyor.
Bot olmazsa siteniz ya toplist yada dizin sitesi olup çıkıyor.

Kolayca yaklaşık 500. milyon sayfalı seolu bir arama motoru yapabilirsin!
Bilindiği üzere DMOZ açık kaynaklı insanların giriş yaptığı açık kaynak kodlu bir dizin projesidir. ve belki bilmediğiniz üzere google dahil olmak üzere tüm arama motorları dmozdan yararlanır.

nasıl ?

Öncelikle http://rdf.dmoz.org/rdf/content.rdf.u8.gz adresinden dmoz mimarisini anlatan küçük dosyayı extract ederek bakabilrsiniz.
sonrasında http://rdf.dmoz.org/rdf/structure.rdf.u8.gz 250MB dosyasını indirerek extract etmeye başlayabilirsiniz. (dosyların tamamını http://rdf.dmoz.org/rdf/ burada da bulabilirsiniz.)

gz extact edilince 3GB lik RDF dosyasına erişilir RDF yazacağınız Parse application ile XML formatınana dönüştülür.
Ben parse edecek kod yazamam diyorsanız zamanında katkıda bulunduğum bu projeden http://sourceforge.net/projects/dmoz2mysql/files/ veya http://sourceforge.net/projects/suckdmoz/files/ buradan parser'i elde edebilirsin.

XML'den sonra XML dosyasını Parse ederek 2 GB lık SQL file oluşturun.
2 GB lık SQL dosyasını yaklaışık 3 saatte MYSQL'e insert ederek ilgili dosyaya erişebilirsiniz.

böyle bir data ile güzel bir arama motoru scripti yazabilirsin.

Devamını merak edenler şu posta bakabilir.
https://www.r10.net/beyin-firtinasi/5...-yapsak-8.html