ahrefs.com nasıl çalışıyor? - Sayfa 2

15-09-2013, 04:22:41

#10

kaptanblack adlı üyeden alıntı: mesajı görüntüle

Şuan sitemde tam 10 tane ahrefs botu var

yazılanlardan ahrefs'in google mantığı ile çalıştığını anlıyorum. sadece domain listesi gerekiyor bunun için ve datacenter. büyük yatırım tabi.
20 milyon siteyi tarasa, bir site bir dakika sürse tarama 38 yıl sürüyor.
Multithread çalışacağı için aynı anda 100 işlemle 0.38 yıl yani 140 günde tarama bitirilebilir ve döngüsel olarak devam eder.

Aslında benim merak ettiğim bu işi zaten google yapıyor. googleı kullanarak bu veriler toplanabilir miydi?

15-09-2013, 04:27:11

#11

Metallica

Remark adlı üyeden alıntı: mesajı görüntüle

yazılanlardan ahrefs'in google mantığı ile çalıştığını anlıyorum. sadece domain listesi gerekiyor bunun için ve datacenter. büyük yatırım tabi.
20 milyon siteyi tarasa, bir site bir dakika sürse tarama 38 yıl sürüyor.
Multithread çalışacağı için aynı anda 100 işlemle 0.38 yıl yani 140 günde tarama bitirilebilir ve döngüsel olarak devam eder.

Aslında benim merak ettiğim bu işi zaten google yapıyor. googleı kullanarak bu veriler toplanabilir miydi?

google tüm backlinkleri webmaster toolsta bile göstermiyor ki zaten o tür birşeyi piyasaya açmış olsa batardı.

15-09-2013, 05:51:33

#12

biomooj

kaç siteyi işlediği pek önemli değil, bir sitenin 1 milyon sayfası da olabilir. nihayetinde trilyonlarca sayfayı tarıyor. ve sürekli yeniden tarama yapıp veritabanını güncel tutmak zorunda. sadece backlink leri analiz ediyor ahrefs.

15-09-2013, 08:28:34

#13

hakanuzun

Sonuç olarak google'dan veya başka birinden bilgi almıyor. Google'ın indexlemediği sayfalarıda gösteriyor çünkü..

Evet kendi botları ve data centerları var.. Ama yaptığı iş arama motorunun yaptığından milyon kez kolay.. Sayfanın kaynak kodunu yükleyip içerisinde: <a href="http://siteadi.. geçen bölümleri buluyor, not defterinde arama yapmak gibi.. Ordaki linki çekip, anahtar kelimeyi alıp veri tabanına kaydediyor.

Büyük datacenterlar ile anlaşma yapıp localde çalışabildiğini düşünüyorum.. Yani sayfaları internetten taramıyor. Hosting firmalarının kendi bilgisayarlarında tarıyor.. Yani deseki önemli datacenterlara ben Yerelağdan sunucularındaki siteleri gezicem sana şukadar para veya bende 5 tane server kiralıycam karşılığında, çoğu hosting kabul eder.

15-09-2013, 16:09:22

#14

~~FiratEkinci~~

Üyeliği durduruldu

Metallica adlı üyeden alıntı: mesajı görüntüle

google tüm backlinkleri webmaster toolsta bile göstermiyor ki zaten o tür birşeyi piyasaya açmış olsa batardı.

Google tüm backlinkleri webmastertools'da göstermiyor ama webmastertools'dan gelen linklerinize bakıp zararlı linklerinizi reddedin diyebiliyor. Sizce bir tutarsızlık yokmu. Gelen tüm linkleri göremiyorsak link reddetme aracını nasıl kullanacağız ? Muhalif olmak adına söylemiyorum, söylediklerinizde haklısınız. Google'ın çelişkilerinden bahsediyorum

Tüm web'i indexleme konusuna gelince bunu zaten yapıp verileri satan firmalar var. Archive.org bu verileri parayla paylaşıyor diye duymuştum.

15-09-2013, 19:53:01

#15

Misafir

Fresh Index
Unique URLs crawled: 168,840,975,228
Unique URLs found: 562,003,932,823
Date range: 13 Jun 2013 to 15 Sep 2013
Last updated: 1 hour 37 minutes ago
Historic Index
Unique URLs crawled: 523,271,474,398
Unique URLs found: 2,052,906,925,218
Date range: 09 Dec 2007 to 10 Jul 2013
Last updated: 11 Aug 2013

saintx bunu beğendi.

1 kişi bunu beğendi.

15-09-2013, 19:55:46

#16

~~pan_river~~

Üyeliği durduruldu

Boşverin ya kafa yormayın şunlara

15-09-2013, 20:35:02

#17

fuzinnes

pan_river adlı üyeden alıntı: mesajı görüntüle

Boşverin ya kafa yormayın şunlara

Bunlara kafa yormadığımız için hep onların gerisinden gitmiyormuyuz? Bunu boşver saçma sapan yada ne biliyim uçuk kaçık fikirleri bile sahiplenmeli yada uğraş vermeliyiz diye düşünüyorum. Birşeyleri icat etmedikten sonra al sat nereye kadar?

15-09-2013, 20:39:31

#18

Misafir

Bunu yapan tr için arama motoru bile yapar