robots.txt i koymasanda heryeri indexler zaten. robots.txt i indexlenmesini istemediğin yerler için kullanabilirsin. indexlenmene bir + sı yoktur