Sizlere şöyle bir iki bilgi vermek istiyorum.

4 sene önce C++ geliştirmiş Double Bot teknolojisi ile IBM Zeon 3.06Ghz Intel Pentium4 işlemcili 4GB PC 2100 ECC DDR SDRAM bellek kullanan 436GB SCSI depolamaya sahip 2 adet server ile
denedim. inan aldığın verim korkuttuğun bandwidth 'e deymiyor.
Bot olmazsa siteniz ya toplist yada dizin sitesi olup çıkıyor.



Öncelikle arama motoru projesi düşünüyorsanız hale hazırda 10 milyar sayfadan fazla sayfa barındıran site için en az 15-20 milyon doların üzerinden bir bütçeniz olması gerekli.
Nedeni hem botların yazımı çok uzun süre alacağından bu süreçte barındıracağınız en az 50-100 programcının bütçesi hemde kullanacağız hat ve donanım maliyeti için gereklidir.

Türk mühendislerinin geliştirdiği bilinen en büyük arama motoru projesi hakia.com'dur. İlk 10 arama motoru içerisindedir.
Hakia 6 sene önce geliştirilmeye başlandı.
Hakia'yı diğerlerinden ayıran en büyük özelliği ise arama yaptığınız kelimenin anlamı olacak sonuçlar vermesidir.

örneğin ERP terimi ile aradığınızda http://www.hakia.com/search.aspx?lang=tr&q=ERP size tanımını verebilecek ilk sonucu getirir.
Proje hakkında detayları burada http://company.hakia.com/technology.html neyse projenin yabancı sermaye şirketleri tarafından desteklendiğini ve yaklaşık 18 milyonluk bir bütçesi olduğunu biliyorum.


Ekipte kimlerin olduğuna http://company.hakia.com/team.html buradan, kimlerin neler dediğine http://company.hakia.com/press.html buradan bakabilirsin.


Buraya kadar kimlerin neler yaptığını anlattım.

Peki sana nasıl yardımcı olabilirim?
1-) Kolayca yaklaşık 500. milyon sayfalı seolu bir arama motoru yapabilirsin!
Bilindiği üzere DMOZ açık kaynaklı insanların giriş yaptığı açık kaynak kodlu bir dizin projesidir. ve belki bilmediğiniz üzere google dahil olmak üzere tüm arama motorları dmozdan yararlanır.

nasıl ?

Öncelikle http://rdf.dmoz.org/rdf/content.rdf.u8.gz adresinden dmoz mimarisini anlatan küçük dosyayı extract ederek bakabilrsiniz.
sonrasında http://rdf.dmoz.org/rdf/structure.rdf.u8.gz 250MB dosyasını indirerek extract etmeye başlayabilirsiniz. (dosyların tamamını http://rdf.dmoz.org/rdf/ burada da bulabilirsiniz.)

gz extact edilince 3GB lik RDF dosyasına erililir RDF yazacağuınız Parse application ile XML formatınana dönüştülür.
Ben parse edecek kodyazamam diyorsanız zamanında katkıda bulunduğum bu projjeden http://sourceforge.net/projects/dmoz2mysql/files/ veya http://sourceforge.net/projects/suckdmoz/files/ buradan parser'i elde edebilirsin.

XML'den sonra XML dosyasını Parse ederek 2 GB lık SQL file oluşturun.
2 GB lık SQL dosyasını yaklaışık 3 saatte MYSQL'e insert ederek ilgili dosyaya erişebilirsiniz.

böyle bir data ile güzel bir arama motoru scripti yazabilirsin.

2-)Ben bot'tan falan anlamam yada param yok ama biraz kod bilirim. Bunlada arama motoru yaparım diyorsanız
http://code.google.com/intl/tr/ adresinden google kaynaklarını ve servislerini kullanarak yine reklam programlarına uygun arama motoru yapabilirsiniz.

3-) ben kodtan falan anlamam biraz param var diyorsanız. Aynı şekilde google kaynaklarıda kullanılarak yapılan
http://www.inoutscripts.com/demo/ino...ngine/demo.php scriptini hediyesi $249 alabilirsiniz.

4-) Benim için arama motoru bahane maksat reklamdan gelir olsun diyorsanız
http://odp.javier-garcia.com/download/ adresinden sevgili arkadaşım Javier Garcia'nın yazmış olduğu ve Dmoz veri tabanını kullanan 50 Kb lik küçük programı ile kendi dmozunu yapabilirsiniz. googlede indexler

makale gibi oldu