kodları .htaccess e eklemelisiniz,

robots.txt de fayda etmez... sadece .htaccess te engelleyebilirsiniz..