Robots.txt dosyasına ihtiyacın yok indexlenmesini istemediğiniz sayfaların meta kodları arasına ;
<meta name="robots" content="noindex" />
<meta name="robots" content="noarchive" /> kodlarını koyarsanız sorununuz hallolur.Ayrıca robots.txt dosyasıyla uğraşmamış olursunuz.

Not:arama motorları botları meta taglara herzaman uymayabilir.