robots.txt dosyasına sitenizin her indekslenmesini istemediğiniz sayfa ve klasörleri yazmanın anlamsız, mantıksız ve yanlış bir hareket olduğunu düşünüyorum. Zaten site üzerinde o dediğiniz sayfalara veya dizinlere bağlantı yoksa o sayfa ve dizinler indekslenmez. Siz admin, db vs klasörlerinizin, admin giriş dosyalarınızın adreslerini robots.txt'ye yazarak lamerlere davetiye çıkartıyorsunuz.