Faydalı birşey olmasa robots.txt diye bir şey icat edilmezdi herhalde.