Merhaba;
Bu sistem için öncelikle işi yapacak arkadaşın kesinlikle bid data mantığı ile bu işi yapması gerekiyor. hadoop sistemlerine hakim olması ve tercihen java ile yazılması gerekiyor. Öteki türlü column base veritabanları belli bir süre sonra text search de tıkanacaktır. hadoop bu sistemler için enfes bir çözümdür ve google da bigtable-hadoop kullanır. facebook ve twitter gibi sistemlerde hadoop kullanır.
Sadece yardımcı olmak için tavsiyelerimi yazmak istedim.
kodlaması basit de, bir sürü server satın almanız lazım. yazılımla bitmiyor iş. hem tarama yapmak için hemde arama yapmak için. yılmaz kardeşim hadop madop önemsiz. tablo mimarisini düzgün yazarsan hiçbirşey olmaz. işte sorun bu taramayı yapacak serverlara lere geliyor.
Görüşünüz için teşekkür ediyorum. Tabi ki bizler de farkındayız bazı şeylerin.
Fakat şahsen şahit olduğum bir olayı anlatayım size, arkadaşım Türkiye'de çok büyük bir şirkete güzel de bir ücret ödeyerek bir haber sitesi yaptırdı.. Site ortalama 200K hite geldiğinde sistem çöktü. Örnek olarak sunucusu i7 işlemcili ve 64gb ramli idi.
Aynı siteyi gerçekten işi bilen kişiler devraldı ve optimizasyon ile i5 işlemci 16gb ramde %100 sorunsuz bir şekilde üstelik 250K ortalama hitle çalıştırdılar.
Burada bizim için kaynakları da son derece verimli kullanmak önemli. Bu yüzden bende Hadoop ve MongoDB ile birlikte PHP yerine Phyton veya C (perl, java) taraftarıyım. Lakin sizin kadar uzman değilim ve olamam da. Sadece araştırmalarım sonucunda edindiğim bir görüş bu.