Yerel arama motoru projemiz için teklif istiyoruz.

Oracle destek anlamında olsun birden fazla en sunucusunun entegresinde olsun tam çözün sunar

Konu birden fazla sunucu ise bu işin lideri Hadoop değil midir? (bilmediğimden soruyorum)

DB yönetimi anlamında kesinlikle ama kesinlikle Oracle derim kullandık ciddi manada lisans almak için bile insanlar alsanda olur almasadan ürünümüz bu diyor.

tablo mimarisini de düzgün yapsan 8000 karakterli 1 tb veri içerisinde like ile sorgu yaptığında oracle bile olsa o sonuç en az 10dk sürer. blob verisi indexlenemediği için çok büyük sıkıntı doğurur.

Oracle ilişkisel veritabanın lideri. 10 petabyte a kadar inanılmaz performanslar sunar. Yalnız ilişkisel veritabanı sistemlerde tek problem text aramasıdır. like çok büyük problemdir. index alanı olan her bölgede patlamadan sorunsuz çalışır ama index alamadığı alanda onunda elinden birşey gelmez. Ayrıca oracle sistemleri çok ama çok pahalı. yıllık 200.000$ bakım ücreti olan bir sistem.

Başka bir durum ise oracle big-data konusunda kendi donanımları ile hive sorgulama mimarisini kullanarak hadoop u tablo olarak gösterip sorgu sonuçları döndürebiliyor ancak bu oluşum daha beta.

http://www.oracle.com/ocom/groups/pu...ent/130063.pdf

yukarıda ki yazıda anlaşılacağı üzere gelecek hadoop ile kuruluyor.

hadoop'un mimarisini tek bir soru ile çözebilirsiniz;

"çok büyük bir tarlanız var ve sürmek istiyorsunuz, 1 adet çok güçlü çok büyük öküz ile mi sürersiniz yoksa 10 adet normal öküz ile mi sürmeyi tercih edersiniz?"

tercihinizi sizin belirlemeniz gerekiyor.

bu arada adettendir, oracle tuning uzmanıyım.

oracle ile arama motoru kurmak

Not: mangoDB biraz kurcalamıştım, spp42.com Ankara'da bu konuda danışman olarak bence Türkiye'deki en iyi firma. hatta 42'nin hikayesini anlattılar, çok ilginçti, Otostopçunun galaksi rehberinde geçen bir hikayeye dayanıyor. Neyse;
bu konuda çok iyi yardımcı olacaklarını düşünüyorum.

Oracle önerisine çok güldüm. Lisans fiyatlarından haberiniz var mı? Eğer oracle bilginiz varsa postgres i tavsiye ederim. Oracle ile kapışır... Ve free. Freebsd üzerinde çok stabil çalışıyor.

Hadoop a gerek yok diyeni gördüm.

http://wiki.apache.org/hadoop/PoweredBy

Hadoop u kullananlar... Bakın bilgi sahibi olmadan yorum sahibi olmayın... Bu iş sadece veritabanı - web script dili ile yapılacak iş değil.

Bu sitede php sadece ön yüz olabilir ama onu da tavsiye etmem. Hadoop vb işleri kullanacaksanız ya python yada java kasmanız gerekiyor.

Arama motoru işi ciddi bir iştir. Basit değil...

Yapacak arkadaşa bu konuda başarılar diler ve eğer yardım isterlerse seve seve yardımcı olurum

Bence burada yazılım mimarisi konusunu araştırmaktansa, işin gösterim mühendisliği konusuna el atmanızı öneririm. Bu saydıklarınız bir şekilde yapılabilir şeyler. Ülkede zilyon tane yazılımcı var. Bazılarını katarsınız bünyenize devam edersiniz. İş yapacağınız tek konu, kusursuz bir veri işleme mühendisliğidir.

Abi keşke zaman olsa da oturup yazsam buraya...

datayı toplamak çocuk oyuncağı bu arkadaşlar sadece datayı topladılar 2 tane yazılımcı var, biraz da sunucu falan var işte...

ama veri madenciliği yok! Ya da bir arama motorundan beklenecek veri madenciliği yok diyeyim. Sadece hangi linklere daha sık bot göndereceğine dair tamamen kendisini düşünen bir algoritması var o da çalışmıyor zaten


şimdi mesele data toplamaksa bu çok basit... bu abiler/ablalar bunu 18 senedir kusursuz şekilde yapıyorlar...

ben sana data toplama demiyorum, hobi olarak gene topla ama arama motorundaki en önemli konu bu veriyi nasıl sıralayacağın ve nasıl sınıflandıracağındır. Bunun için yazılım bilmek de yetmez, resmen lingusitik bilmen lazım. sosyoloji bilmen lazım.

"ağva" yazınca insanların "tatil" ana maddesi ile ilgilendiğini, "kola" yazınca birebir "coca-cola" dan bahsettiğini anlamaya benzemez.