Yazmayı unutmuşum, robots.txt dosyasına bakmayan bazı illegal robotlar engellemen için bu işi .httaccess dosyasından yapman gerekir.

Ör:

Options +FollowSymlinks
RewriteEngine On
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} Bot_Referrer_IDsi
RewriteRule .* - [F,L]

Bazı robotlar Referrer ID'lerini gizler ya da değiştirirler, bunları engellemek için Robot'un IP'sini ya da IP aralığını bilmen yeterlidir.

Cyveillance için örnek .httaccess kodu:

RewriteCond %{REMOTE_ADDR} "^63\.148\.99\.2(2[4-9]|[3-4][0-9]|5[0-5])$"
RewriteRule .* - [F,L]