Sonuç olarak google'dan veya başka birinden bilgi almıyor. Google'ın indexlemediği sayfalarıda gösteriyor çünkü..

Evet kendi botları ve data centerları var.. Ama yaptığı iş arama motorunun yaptığından milyon kez kolay.. Sayfanın kaynak kodunu yükleyip içerisinde: <a href="http://siteadi.. geçen bölümleri buluyor, not defterinde arama yapmak gibi.. Ordaki linki çekip, anahtar kelimeyi alıp veri tabanına kaydediyor.

Büyük datacenterlar ile anlaşma yapıp localde çalışabildiğini düşünüyorum.. Yani sayfaları internetten taramıyor. Hosting firmalarının kendi bilgisayarlarında tarıyor.. Yani deseki önemli datacenterlara ben Yerelağdan sunucularındaki siteleri gezicem sana şukadar para veya bende 5 tane server kiralıycam karşılığında, çoğu hosting kabul eder.