User-agent: * /// Bütün botlar tarasın
Disallow: /cgi-bin/ /// bu kısım engellemek istediğin klasör varsa yaz.

Allow: / yaparsanız google dizininde görmek istemediğiniz klasörlerde indexlenir örnek profil resimleri veya başka dosyalar.