sitenizin htaccess dosyasına aşağıdakini ekleyerek yapabilirsiniz.

Alıntı
SetEnvIfNoCase Referer "^http://twitter.com" bad_domain=1
<FilesMatch "(.*)">
Order Allow,Deny
Allow from all
Deny from env=bad_domain
</FilesMatch>
bunun yerine php ile de referer kontrol edip engelleyebilirsiniz.