Türkİndex Arama motoru projesi

Öncelikle Amaç Google'ye rakip olmak değil, biliyorsunuz ki bilimsel araştırma yapan ve analitik yapan, sosyal medya platformlarında ürün görüş analizi yapmak isteyen firmalar bir dar boğaza takılıyor. Sosyal medya platformlarından veri toplamak ve bunun tarihsel analize yaymak tam bir çile, bir de ölü link problemi öyle büyük ki google cache özelliğini kaldırdığından beri son gelişmelerde olan olaylarla alakalı haber sayfaları ortadan kaybolabiliyor.

Projenin isimi kalıcı olmayıp şu anda altyapı seviyesinde kurulmuşur arkada otonom olarak veriler işlenmektedir, toplam veri kaydı tüm sitelerden 2 günde 2 milyona ulaşmıştır, site başına ise 50 bin ile 200 bin civarı kayıt günlük çekilmektedir. Projenin amacı ticari değildir özellikle akademik ortamlarda faydalı bir proje olmasını amaçlıyorum; poweruserlara yönelik bir yayın ile başlangıç gerçekleştirilecektir.

Sıradan arama motorlarına göre farklılık:

Yapılan aramanın içeriğinin sistemlerde sizden izin almadan kaydedilmemesi veya loglanmaması.

Deterministik, kaydedilebilir aramalar, yaptığınız arama sonuçları asla değişmeyecek şekilde zamanda dondurulabilir ve paylaşılabilir.

Yapay zeka tabanlı structured veri toplanması örneğin bir web sitesinde resmi özellik olmasa blie bir yazar neleri göndermiş araştırabilrisniz.
Queryleriniz typo var mı yok mu kontrol edilmeden olduğu gibi rewrite olmadan aratılır, Google'de yapamadığınız gerçek "içerir" şeklinde aramalar yapılabilmektedir. Ayrıca dilenen web sitesinde genel veri alanları örneğin kullanıcı adı, varsa ve halka açıksa diğer bilgilerle genel ve toplu aramalar yapılabilmektedir.

Arkada Typesense açık kaynaklı arama altyapısı çalışıyor olsa da uzun vadede özel bir motora performans yetmemezliği durumunda geçmeyi düşünüyorum, data ingest pipeline web sitesinin yapısını analiz eden botlar tarafından dinamik olarak oluşturulmakta ardından ise cloudflare vb. korumalar atlanarak veri çekimi gerçekleştirilmektedir. Sadece büyük sitelerde elle müdahele vardır, forum ve küçük çaplı siteler tam otonom ilerlemektedir.

Data ingest kısımı NodeJS ile çalışmakta, API arayüz kısımı ise .NET tabanlıdır.

Böyle bir arama motoru sıradan sokaktan biri için uygun değil amaç dediğim gibi teknik insanlar ve araştırmacılardır. Sıradan insanlara göre optimize edilmiş arama motorları araştırmacıların çabalarını zora sokmaktadır.

Uzun vadede RAG tabanlı Google AI Mode benzeri bir yapay zeka moduda düşünüyorum ama bu direkt özet geçecek bir sistem olmayacak, kullanıcıyı daha fazla bilgi alması için hedef siteye gitmesi üzerine açık şekilde yönlendiren yapıda olacak.

Özellikle Büyük sosyal medya platformlarında yer alan toplumda büyük öfke veya sevinç uyandırmış olaylarla alakalı postlarla markalarla alakalı şikayet olarak etiketlenmiş paylaşımlar, Research Gate, Wikipedia ile Türkiye'deki yerli forum ve sitelerin karışımı olarak en üst öncelikli olan siteler düşünüldü.

Tübitak maalesef ki bu tür konularda fonlama yapmıyor son sıralar, yapmaları durumunda Tübitak desteği almayıda düşünüyorum. Server maaliyetleri optimize edilmiş altyapı kullandığım için çok değil şu anda.

database olarak ne kullanıyorsunuz veya düşünüyorsunuz bu çaptaki bir proje için hocam?

Data ingest sonuçları küçük ölçekte olduğundan dolayı MariaDB'ye kaydedilmekte ancak columnar ihtiyacı çıktığından Clickhouse geçmeyi düşünüyorum. Query kısımında dediğim gibi DB çok fark etmiyor, Query kısımında motorun kendisi ufak bir document dbymiş gibi davranıyor, sorgular asıl veri tabanına gitmiyor.

MariaDB'den Clickhouse geçilecek.
Typesense'den ileride özel motora geçilebilir Typesense ram canavarı olduğundan, her ne kadar Typesense'de disk tabanlı aramalarda yapılabiliyor olsa da. Tabii bu ölçeğe TÜBİTAK fonlama yapmazsa gelinmez.

clickhouse önerebilirim, bende osint sektörü üzerine çalışıyorum haliyle büyük verisetleriyle uğraşıyorum fakat bunlardan ziyade önereceğim yapı :

Opensearch
ElasticSearch
Clickhouse
Meilisearch

Bunların dışında psql önerebilirim hocam, şimdiden bol şans yolunuz açık olsun