nasıl çalıştıgını sorduguna göre herhalde öle bir proje düşünüyorsun.Yapılmamış olanı yapmak gerek.Aynısını tr de açsan r10 da konusunu açsan dandirik sistem derler.

Sistem işleyişine gelince google bot gibi işler.Milyar değil 20 milyon siteyi işlese yeter.Alexa ya da farklı yerlerden geziceği siteleride alıyor olabilir.Bu botlar siteyi web browserda gördüğün gibi resimleri js doslarıyla vs beraber indirmez sadece kaynak kodları takip eder.
Ve db de siteleri önceden backlinkleri ile kaydeder.Sen oraya yazdıgında bir arama yapmaz.Konu gibi düşün bulup gösterir