Sitelerinizde indexlenmemesi gereken yerler olabilir güvenlik açısından. Bunun için kullanabilirsiniz
Bu tür özel durumlar için bunu robots.txt değilde aşağıdaki metayı kullanmanızı tavsiye ederim.
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />
Malum örneğin admin panelinizi yazacaksınız ama heykır abilerin robots.txt dosyanıza bakmak akıllarına gelebilir
Bu sebeple yukarıdaki metayı kullanmanız daha uygun olacaktır.