ahrefs.com nasıl çalışıyor?

Merhaba Arkadaşlar;

ahrefs.com a girdiğinizde tüm sitelerin backlinklerini görebiliyorsunuz.

Bunu nasıl yaptığı konusunda bir fikriniz var mı? Siteleri tek tek tarıyor desek milyarlarca site için nerdeyse google gibi çalışmak gerekiyor.

Başka bir yöntem kullandığını düşünüyorum.

inurl: tarzı bir şeydir buda kolaydır eminimki

nasıl çalıştıgını sorduguna göre herhalde öle bir proje düşünüyorsun.Yapılmamış olanı yapmak gerek.Aynısını tr de açsan r10 da konusunu açsan dandirik sistem derler.

Sistem işleyişine gelince google bot gibi işler.Milyar değil 20 milyon siteyi işlese yeter.Alexa ya da farklı yerlerden geziceği siteleride alıyor olabilir.Bu botlar siteyi web browserda gördüğün gibi resimleri js doslarıyla vs beraber indirmez sadece kaynak kodları takip eder.
Ve db de siteleri önceden backlinkleri ile kaydeder.Sen oraya yazdıgında bir arama yapmaz.Konu gibi düşün bulup gösterir

Google gibi calisiyor. Kendi datasini topluyor. Orumcekleri var onlarin da zaten o yuzden fiyati pahali.

Birsey dikkatimi cekti sadece orumcekleri her siteyi taramiyor. Sen domain arama yapiyorsun diyelim abc.com backlinklerini gormek istiyorsun. 1 ay sonra tekrar abc yazdiginda daha saglikli sonuclar verdigini goreceksin cunku arama yapilan siteleri kendi datasinda biriktiriyor ilk once onlar arasinda tarama yapiyor daha sonra orumcekleri ile verileri ve siteleri tariyor.

Google'a gore veri saklama isi daha kolay sadece url yapisini kaydediyor ve anchor text olayi. Tum sayfadaki verileri kaydetmesine gerek yok. Bu yuzden arama motoru kadar masrafli bir is degil ama bildigin arama motoru o da bir nevi.

binlerce botları var cpanelde son ziyaretçiler kısmında devamlı görüyorum botlarını.

.net üzerinde html okumak ve parse etmek üzerinde ciddi tecrübem oldu zamanında. dediğiniz gibi sadece source code okunur. resim vb gibi bilgiler geçilir. örneğin hurriyetemlak sitesinin tamamını çekmiştik hatrı sayılır bir proje için.

fakat alexa 1 den başlayıp 20milyona kadar siteyi taramak mümkün değil gibi. hadi düzenli olarak taradı diyelim, alexada olmayan siteleri bile ahrefs de görüyoruz. Sanki googlella bir anlaşmaları var gibi geliyor. Google search api üzerinden link bilgisini satın alabileceklerini düşünüyorum.

--R10.NET; Flood Engellendi -->-> Yeni yazılan mesaj 03:56:04 -->-> Daha önceki mesaj 03:53:21 --

üstad botun ahrefsten geldiğini nasıl anlıyorsun peki? sadece ip yazmıyor mu?

bir de ne kadar zamanda bir ziyaretleri var dikkat ettin mi hiç?

açıklama kısmında ahrefs ten geldigi yazıyor. ortama 15 günde bir geliyorlar ama farklı ip hep

Adamlar kurmuş sistemi hocam. Para ver, yararlan diyorlar o kadar.

Şuan sitemde tam 10 tane ahrefs botu var