Botu engellememe rağmen yine sitede?

Question

robots.txt ile ilgili botu engelledım ama yınede forumda gorunuyor?

Profesör · Answer

Htaccessten engelleyin.

Gelistirici · Answer

Robots.txt dosyasının kurallarına uymak gelen botun tercihine bağlıdır.
Mesela Google botları eğer ilgili sayfa çok fazla trafik alıyorsa bu kuralı göz ardı eder ve o sayfayı tarar.

Garfield · Answer

Profesör adlı üyeden alıntı:						mesajı görüntüle									Htaccessten engelleyin. 		User-agent: Bytespider Disallow: /bu kodu eklemem yeterlı olur mu?

oktayc0 · Answer

Htacces içine, rewriteengine başlatma kodundan sonrasına ekleyin:

RewriteEngine On # Zaten ekliyse, tekrar eklemenize gerek yoktur.
RewriteCond %{HTTP_USER_AGENT} ^Bytespider
RewriteRule ^.* - [F,L]

Garfield · Answer

...

Garfield · Answer

Profesör adlı üyeden alıntı:						mesajı görüntüle									Htaccessten engelleyin. 								oktayc0 adlı üyeden alıntı:						mesajı görüntüle									Htacces içine, rewriteengine başlatma kodundan sonrasına ekleyin:

RewriteEngine On # Zaten ekliyse, tekrar eklemenize gerek yoktur.
RewriteCond %{HTTP_USER_AGENT} ^Bytespider
RewriteRule ^.* - [F,L] 		hocam ben bu sekılde ekledım ama ıse yaramadı sanırım

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Bytespider
RewriteRule ^.* - [F,L]
RewriteCond %{HTTPS} off
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]https://hayvanlar.com.tr/forum/online/?type=robot

CptSLap · Answer

BURADAKİ konuyu incelemenizi öneririm, botları engelleme hizmeti de mevcut