robots.txt ile bildirmek şart değil artık. webmaster tools ile bildir, istediğin adı koy gitsin.