Robots.txt dosyası duplicate content diye adlandırılan sayfalar için muhteşemdir.Ve onun için kullanılmalıdır. Misal olarak sitelerinde mod_rewrite kullananların çoğu şöyledir. index.php?topic=2 >> konu2.html
İlkini robots.txt ile yasaklamak gerekir. Ayrıca robotlarının görmemesi gereken bazı sayfalara engel koymak gerekir. Örneğin üye kayıt sayfaları, üye profil sayfaları, etiketleme sayfaları vb gibi.