mesela bir panelin var diyelim ftp'nde de bunun uzantısı /admin şeklinde eğer googlenin bunu indexlemesini istemiyorsan ;
User-agent: admin
Disallow: /
şeklinde indexlememesini sağlayabilirsin. Bu da botun siteni gezerken onları dikkate almayıp indexleme zamanın kısalmasını sağlar.