• 25-04-2022, 03:43:35
    #1
    Merhaba arkadaşlar,

    Robots.txt ile kapattım fakat hala listelenmeye devam ediyor .htaccess ile kapatma yöntemi de var fakat bulamadım.

    Kullandığım kodları paylaşıyorum. Bu şekilde kapatıp sonuç alan var mı veya .htaccess yöntemi ile kapatmayı bilen varsa paylaşabilir mi?

    User-agent: AhrefsBot
    Disallow: /
    User-agent: SemrushBot
    Disallow: /
    User-agent: SemrushBot-BA
    Disallow: /
    User-agent: MJ12bot  
    Disallow: /
    User-agent: HTTrack
    Disallow: /
  • 25-04-2022, 03:54:19
    #2
    htaccess için bkz SetEnvIfNoCase User-Agent
    robots.txt saygımız var deselerde umursamazlar. ip bulup engellemek en garantisi.
  • 25-04-2022, 04:24:33
    #3
    AhmetCAKIR adlı üyeden alıntı: mesajı görüntüle
    htaccess için bkz SetEnvIfNoCase User-Agent
    robots.txt saygımız var deselerde umursamazlar. ip bulup engellemek en garantisi.
    https://udger.com/resources/ua-list/...bot=SEMrushBot
    https://udger.com/resources/ua-list/...?bot=AhrefsBot


    https://botcrawl.com/ahrefsbot/

    Şurada bir makale buldum htaccess ile engelleniyor büyük ihtimal ikisini birlikte kullanımı nasıl oluyor bilmiyorum.

        RewriteEngine On
    
    RewriteCond %{REQUEST_URI} !/robots.txt$
    
    RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]
    
    RewriteRule ^.*.*
    
        RewriteEngine On
        RewriteCond %{HTTP_USER_AGENT} ^BLEXBot [NC,OR]
        RewriteCond %{HTTP_USER_AGENT} ^SemrushBot [NC]
        RewriteRule ^.* - [F,L]
  • 26-04-2022, 22:26:55
    #4
    Bu konu hakkında bilgisi olan var mı?