• 09-03-2020, 01:42:32
    #1
    Üyeliği durduruldu
    merhaba arkadaşlar, aldığım linklerin ahrefs,semrush gibi araçlar da gözükmemesini istiyorum. İnternetten araştırdığım kadarıyla robotxtxt de engellememin yeterli olduğunu söylüyor. Ahrefs gibi seo araçlarının aldığım linkleri görmemesi için yeterli mi acaba ? yoksa link aldığım site de aynı şekilde ahrefs botlarını engellemeli ? Zaman ayırıp cevap yazacak herkese şimdiden teşekkür ederim.
  • 09-03-2020, 01:52:11
    #2
    Benimde çok merak ettiğim konulardan bir tanesi takipteyim.
  • 09-03-2020, 02:00:51
    #3
    Kimlik doğrulama veya yönetimden onay bekliyor.
    Mesela abc.com sitesinden link aldınız. Ahrefs vb. botlar abc.com'u tarar ve buradan yapılan link çıkışlarını görüp veritabanlarına kayıt ederler. Bu sebepten dolayı linkin bulunduğu siteden Ahrefsbotu engellenmeli. Kendi sitenizde ahrefsbotunu engellemeniz bu konuda çözüm olmayacaktır, karşı tarafın engellemesi gerekir.

    Kendi sitenizden ahrefs botunu engellerseniz şu şekilde olur;

    siz diyelim ki abc.com 'a bir backlink çıkışı yaptınız. Ahrefsten abc.com kontrol edildiği zaman sizin siteniz listelenmeyecektir.
  • 09-03-2020, 02:02:26
    #4
    WebciAdam adlı üyeden alıntı: mesajı görüntüle
    merhaba arkadaşlar, aldığım linklerin ahrefs,semrush gibi araçlar da gözükmemesini istiyorum. İnternetten araştırdığım kadarıyla robotxtxt de engellememin yeterli olduğunu söylüyor. Ahrefs gibi seo araçlarının aldığım linkleri görmemesi için yeterli mi acaba ? yoksa link aldığım site de aynı şekilde ahrefs botlarını engellemeli ? Zaman ayırıp cevap yazacak herkese şimdiden teşekkür ederim.
    Ne kadarda engellemeye çalışsanız da ne yazık ki şöyle bir durum var Google Bot imitasyonları ile crawler ediliyor internet bağlantıları. Robot.txt dosyasından ahrefs, semrush ve özellikle moz çok agresif ancak engellemek için IP aralıklarını tespit edip engelleyebilirsiniz.
  • 09-03-2020, 02:03:48
    #5
    Vindicta adlı üyeden alıntı: mesajı görüntüle
    Mesela abc.com sitesinden link aldınız. Ahrefs vb. botlar abc.com'u tarar ve buradan yapılan link çıkışlarını görüp veritabanlarına kayıt ederler. Bu sebepten dolayı linkin bulunduğu siteden Ahrefsbotu engellenmeli. Kendi sitenizde ahrefsbotunu engellemeniz bu konuda çözüm olmayacaktır, karşı tarafın engellemesi gerekir.

    Kendi sitenizden ahrefs botunu engellerseniz şu şekilde olur;

    siz diyelim ki abc.com 'a bir backlink çıkışı yaptınız. Ahrefsten abc.com kontrol edildiği zaman sizin siteniz listelenmeyecektir.
    Tabi ahrefs kendi ipsi üzerinden botları gönderiyorsa
  • 09-03-2020, 02:22:51
    #6
    robots.txt den bu botların siteyi taramasını engelleyebiliyorsunuz diye biliyorum. Fakat işe yarar mı bilmiyorum.
  • 09-03-2020, 03:13:13
    #7
    Ne kadarda engelleseniz bu verileri ahrefs çoğunu kendi botları ve doğrulamak veya crawl edemediği diğer siteler içinse analytics verilerini satın alıyor Google ortaklığıyla çalışıyor siz ahrefsi yasaklarsiniz ama o veriyi Google'dan yine alır
  • 09-03-2020, 03:54:54
    #8
    phpxtr adlı üyeden alıntı: mesajı görüntüle
    Ne kadarda engelleseniz bu verileri ahrefs çoğunu kendi botları ve doğrulamak veya crawl edemediği diğer siteler içinse analytics verilerini satın alıyor Google ortaklığıyla çalışıyor siz ahrefsi yasaklarsiniz ama o veriyi Google'dan yine alır
    doğru olabilir , tecrübem yok ama şu dökümanda tam olarak engellemek istersek robots.txt kullanın demişler.

    https://help.ahrefs.com/en/articles/...ling-behaviour

    ancak deneyerek sonuca ulaşabiliriz.

    hatta : https://ahrefs.com/tr/robot şu kısımda, "robots.txt'e saygı duyarız demişler."

    https://prnt.sc/rdj1dl
  • 09-03-2020, 04:04:17
    #9
    User-agent: Ahrefsbot
    Disallow:/

    User-agent:Semrush-bot , semrushbot
    Disallow:/


    Bugüne kadar veritabanına işlenmiş linkleri engelleyemezsiniz yalnız. Semrush ve Moz da bot yapıları biraz daha değişik ve çok sayıda onların tamamı için ufak bir araştırma yapabilirsiniz ama genel format bu şekilde. Tabi sadece moz, ahrefs ve semrush ile bitmez şuanda çok sayıda bot var bunlara alternatif biraz meşankatli bir iş.