.net üzerinde html okumak ve parse etmek üzerinde ciddi tecrübem oldu zamanında. dediğiniz gibi sadece source code okunur. resim vb gibi bilgiler geçilir. örneğin hurriyetemlak sitesinin tamamını çekmiştik hatrı sayılır bir proje için.
fakat alexa 1 den başlayıp 20milyona kadar siteyi taramak mümkün değil gibi. hadi düzenli olarak taradı diyelim, alexada olmayan siteleri bile ahrefs de görüyoruz. Sanki googlella bir anlaşmaları var gibi geliyor. Google search api üzerinden link bilgisini satın alabileceklerini düşünüyorum.
--R10.NET; Flood Engellendi -->-> Yeni yazılan mesaj 03:56:04 -->-> Daha önceki mesaj 03:53:21 --
binlerce botları var cpanelde son ziyaretçiler kısmında devamlı görüyorum botlarını.
üstad botun ahrefsten geldiğini nasıl anlıyorsun peki? sadece ip yazmıyor mu?
bir de ne kadar zamanda bir ziyaretleri var dikkat ettin mi hiç?