şuana kadar hiç bir sitemde robot dosyasını kullanmadım

zaten robot dosyasının amacı google un indexlemelerine yönlendirmek yani yol göstermek