yazılanlardan ahrefs'in google mantığı ile çalıştığını anlıyorum. sadece domain listesi gerekiyor bunun için ve datacenter. büyük yatırım tabi.
20 milyon siteyi tarasa, bir site bir dakika sürse tarama 38 yıl sürüyor.
Multithread çalışacağı için aynı anda 100 işlemle 0.38 yıl yani 140 günde tarama bitirilebilir ve döngüsel olarak devam eder.

Aslında benim merak ettiğim bu işi zaten google yapıyor. googleı kullanarak bu veriler toplanabilir miydi?