Merhaba;

Robots.txt komutlarının tam olarak ne işe yaradığınız anlamak için inceleyebilirsiniz;

https://support.google.com/webmaster.../6062596?hl=tr

https://developers.google.com/search...nce/robots_txt