mesela bir panelin var diyelim ftp'nde de bunun uzantısı /admin şeklinde eğer googlenin bunu indexlemesini istemiyorsan ;

User-agent: admin
Disallow: /

şeklinde indexlememesini sağlayabilirsin. Bu da botun siteni gezerken onları dikkate almayıp indexleme zamanın kısalmasını sağlar.