@Alkoz; konuya zaten yazmışlar siz ne ilksiniz ne de son olacaksınız, sizden önce nice konular açıldı nice çalışmalar yapıldı sonuç yok.
Şimdi işin duygusallığından uzaklaşıp ciddi iş konuşalım;
"Yeter ulan artık!" diyerek projeye başlanmaz, planınız nedir?
Çekirdek sayılabilecek algoritmanız hazır mı?
Hazırsa diagramını görebilir miyiz?
Websitelerini nasıl crawl etmeyi düşünüyorsunuz?
Datayı ne şekilde tutacaksınız?
Etiketlemeyi ne şekilde yapacaksınız?
Rank sisteminin algoritması hazır mı?
Bu soruların cevapları varsa (ki sanmıyorum) beni de ekleyin ekibinize, aksi halde zaten konu bir anlık duygusallıkla açılmaktan öteye gidemez.
Motivasyonunuzu yüksek tutun tamam ama olaylara gerçekçi olarak yaklaşın. En basit eticaret sitesi bile birkaç ay planlama ile hayata geçiriliyorken sizin bu projenizin en azından birkaç sene planlama ile altyapısı hazırlanması, projenin hatlarının belirlenmesi gerekir, kimse de gönüllü olarak birkaç senesini bu işe ayıramaz, hele ki ekonomik kriz varken.
- Artık yeter dedim ulan yok hocam.Yeter zamanı geldi artık yapılmalı anlamında.
- Bu işlerde algoritma sürekli gelişen bir şeydir sürekli kendini geliştiren bir algoritma olacak.
- Diyagram için henüz erken hocam.Proje tam olarak belli değil.
- Crawl çok zor bir iş değil bence.Parse mantığını oturtmak önemli verileri çekmek kolay buna uygun ortamı hazırlamak zor olacak.Basit bir python crawler iş görecektir.Asıl iş bunları doğru işlemekte ve sunmakta.
- Çeşitli CRUD teknolojileri mevcut.Apache Hadoop cluster mantığı için bence uygun.Çeşitli Nosql depolamayıda tercih edebiliriz MongoDB gibi.Sıfırdan bir şey yazmak mantıksız.C++ ile belki geliştirilebilir ama zaman kaybı.Elasticsearch altyapısı bu projeleri destekliyor.Arama ve veri analizinden bunu kullanabiliriz.Sizin önerileriniz var ise inceleyebilirim.Ekip önerilerinde açık olacağız tabi.
-Rank sistemi derken RankBrain tarzı bir şeymi.Kendi yapay zekamız olacak buda hemen olacak iş değil tabi.
Beklerim ekibimize.Bence ayırmalı hocam ben öyle düşünüyorum.gereksiz baltalama yapmadığınız için teşekkürler.