Arkadaşlar merhaba
Bir arama motoru yaptırmak istiyorum google tarzında siteleri kandisi indexleyecek
veya bende var olan bir script var sphider buna düzenlemeler yapılacak
1.türkce karakter sorunu var
2.siteliri veritabanına manuel olarak kaydediyor bunu otomatik yapsın istiyorum yani siteleri ben değil o bulsun
msn:maltepe_turkyucel@hotmail.com
Bilgi:
- Arama motoru yaptığınızda limitleri çok kesin çizgilerle belirlemek durumundasınız. Google veritabanında 1 trilyon url bulunmaktadır. Bunun için yaklaşık 1 milyon işlemci paralel olarak web'i taramasına rağmen bu işlem yaklaşık 2-3 hafta almaktaktadır, pr algoritmalarıyla birlikte.
Siz tek makinayla çok sınırlı bir alanda belki faaliyet gösterebilirsiniz. Özel bir alan isteyin, mesela Türkçe haber siteleri gibi.
Ya da Yahoo-search API ile birşeyler derleyebilirsiniz.AMa bulduklarınız yahoo sonuçlarından fazlası olmaz, ben bir ara yapıyordum. Günde 5000/ip arama sınırı var. Maksimum 5000 sonuç (belki limit artmıştır bilmiyorum).
Başka bir api de video araması için Blinkx API.
Video Search Engine - Blinkx
Buradaki gibi sample edilmiş videoları tek bir çatıda birleştirebilirsiniz. Host'um çökmemiş olsaydı örnek gösterebilirdim.
Son olarak, adsense-custom search'de çeşitli sitelere bağlı arama motoru seçeneği de oluşturabilirsiniz.
Bulduğunuz script'in yaptığı şey zor değil, zor olan verileri toplayıp derleyebilmek, yoksa hepimiz birer Google kurardık
Tolga