maniakcoder adlı üyeden alıntı:
User-agent: *
Disallow: /administrator
Disallow: /bilal
Disallow: /yakup
Disallow: /galeri
Disallow: /cache
Disallow: /images
Disallow: /cgi-bin

robot.txt için yukarıdakilerimi kullanıyoruz sadece ?????
Senin indexletmek istemediğin klasörlere bağlı
hatta robots.txt yi biraz daha gelişmiş kullanabilirsiniz 
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: WebZIP
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: Teleport Pro
Disallow: /
User-agent: Wget
Disallow: /
User-agent: eCatch
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: Vacuum
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: WebCopier v3.2a
Disallow: /
User-agent: WebCapture 2.0
Disallow: /
User-agent: WebCopier v.2.2
Disallow: /
Robots.txt içine bunlarıda ekleyerek kısmen site sömürgeçlerini engelleyebilirsiniz.Ama hemen hemen hepsinin içinde user agent ı internet explorer gibi gösterme seceneği var