Disallow: /cgi-bin/

şeklinde yaparsan o klasörü görmez diye biliyorum.