Arama Motoru Yapsak? - Sayfa 12

27-12-2009, 23:10:46

#100

Bu tür bir projeyi arama motoru kuralım diye özetlemek ve bundan başka bir şey söylememek bir çok arkadaşın söylediği gibi sonucu özetlemek olur.
o yüzden, lütfen bir algoritmanız var ise tamamen açığa vurmak istemeseniz de bundan bahsetmelisiniz. Arama motoru dizayn etmek istiyorsanz hem teknik anlamda bilgi ve imkan sahibi olmalısınız hem de mutlaka bir güzellik yapmalısınız. Yani google'a göre müşterilere bir alternatif hizmet ya da kolaylık sunmalısınız. Mesela en azından kullanıcılara arama sonuçlarının en az bir açıdan google a göre ya da popüler arama motorlarına göre bir alternatif olabileceği ya da kolaylık sağlayabileceği yönünde bir iddiada bulunabilecekseniz o zaman başarılı olma imkanınız olacaktır. Bu yüzden size önerim, tanıtımınızda size yardımcı olacak bu nirengi noktasını öncelikle keşfetmeniz. aklımda bu tür bir amaca hizmet edecek onlarca metod ve ipucu mevcut ancak bunları kendime saklıyorum çünkü benim de bu tür bir projem var ve bunu hayata geçirmek için imkanlarımı artırmaya çalışıyorum.

Herşeye rağmen bir gün birileri bu tür bir girişimi başaracak mutlaka ve bu hakeden kişi olacak; google elbette bir gün fethedilecektir ve onu fetheden webmasterin elinden öperiz tabii ki...

saygılar

31-12-2009, 22:19:17

#101

xBartu

Görüşmeler yapıyorum hocam.Devam etmeye çalışıyorum yeni yılın ilk yarısında mümkünse yetiştircez.

24-07-2010, 12:46:39

#102

LordHaseky

Gmercan adlı üyeden alıntı: mesajı görüntüle

Sizlere şöyle bir iki bilgi vermek istiyorum.

4 sene önce C++ geliştirmiş Double Bot teknolojisi ile IBM Zeon 3.06Ghz Intel Pentium4 işlemcili 4GB PC 2100 ECC DDR SDRAM bellek kullanan 436GB SCSI depolamaya sahip 2 adet server ile
denedim. inan aldığın verim korkuttuğun bandwidth 'e deymiyor.
Bot olmazsa siteniz ya toplist yada dizin sitesi olup çıkıyor.

Öncelikle arama motoru projesi düşünüyorsanız hale hazırda 10 milyar sayfadan fazla sayfa barındıran site için en az 15-20 milyon doların üzerinden bir bütçeniz olması gerekli.
Nedeni hem botların yazımı çok uzun süre alacağından bu süreçte barındıracağınız en az 50-100 programcının bütçesi hemde kullanacağız hat ve donanım maliyeti için gereklidir.

Türk mühendislerinin geliştirdiği bilinen en büyük arama motoru projesi hakia.com'dur. İlk 10 arama motoru içerisindedir.
Hakia 6 sene önce geliştirilmeye başlandı.
Hakia'yı diğerlerinden ayıran en büyük özelliği ise arama yaptığınız kelimenin anlamı olacak sonuçlar vermesidir.

örneğin ERP terimi ile aradığınızda http://www.hakia.com/search.aspx?lang=tr&q=ERP size tanımını verebilecek ilk sonucu getirir.
Proje hakkında detayları burada http://company.hakia.com/technology.html neyse projenin yabancı sermaye şirketleri tarafından desteklendiğini ve yaklaşık 18 milyonluk bir bütçesi olduğunu biliyorum.

Ekipte kimlerin olduğuna http://company.hakia.com/team.html buradan, kimlerin neler dediğine http://company.hakia.com/press.html buradan bakabilirsin.

Buraya kadar kimlerin neler yaptığını anlattım.

Peki sana nasıl yardımcı olabilirim?
1-) Kolayca yaklaşık 500. milyon sayfalı seolu bir arama motoru yapabilirsin!
Bilindiği üzere DMOZ açık kaynaklı insanların giriş yaptığı açık kaynak kodlu bir dizin projesidir. ve belki bilmediğiniz üzere google dahil olmak üzere tüm arama motorları dmozdan yararlanır.

nasıl ?

Öncelikle http://rdf.dmoz.org/rdf/content.rdf.u8.gz adresinden dmoz mimarisini anlatan küçük dosyayı extract ederek bakabilrsiniz.
sonrasında http://rdf.dmoz.org/rdf/structure.rdf.u8.gz 250MB dosyasını indirerek extract etmeye başlayabilirsiniz. (dosyların tamamını http://rdf.dmoz.org/rdf/ burada da bulabilirsiniz.)

gz extact edilince 3GB lik RDF dosyasına erililir RDF yazacağuınız Parse application ile XML formatınana dönüştülür.
Ben parse edecek kodyazamam diyorsanız zamanında katkıda bulunduğum bu projjeden http://sourceforge.net/projects/dmoz2mysql/files/ veya http://sourceforge.net/projects/suckdmoz/files/ buradan parser'i elde edebilirsin.

XML'den sonra XML dosyasını Parse ederek 2 GB lık SQL file oluşturun.
2 GB lık SQL dosyasını yaklaışık 3 saatte MYSQL'e insert ederek ilgili dosyaya erişebilirsiniz.

böyle bir data ile güzel bir arama motoru scripti yazabilirsin.

2-)Ben bot'tan falan anlamam yada param yok ama biraz kod bilirim. Bunlada arama motoru yaparım diyorsanız
http://code.google.com/intl/tr/ adresinden google kaynaklarını ve servislerini kullanarak yine reklam programlarına uygun arama motoru yapabilirsiniz.

3-) ben kodtan falan anlamam biraz param var diyorsanız. Aynı şekilde google kaynaklarıda kullanılarak yapılan
http://www.inoutscripts.com/demo/ino...ngine/demo.php scriptini hediyesi $249 alabilirsiniz.

4-) Benim için arama motoru bahane maksat reklamdan gelir olsun diyorsanız
http://odp.javier-garcia.com/download/ adresinden sevgili arkadaşım Javier Garcia'nın yazmış olduğu ve Dmoz veri tabanını kullanan 50 Kb lik küçük programı ile kendi dmozunu yapabilirsiniz. googlede indexler

makale gibi oldu

Ellerine sağlık işi kısacası özetlemişsin..

24-07-2010, 14:13:26

#103

~~inforesim~~

Bu konuyu 100 kere açtınız. Arama motoru yapmak aa bu gün başlıyalım yarın bitsin bişey değil. Varsa ofis tutucak paran tutarsın 5-6 tane eleman alırsın başlatırsın. Burada ben şurayı yaparım sen şurayı yaparsın tarzında olacak bi iş değil.

24-07-2010, 14:32:11

#104