404 sayfaları noindex meta tag'i ile, 301 yönlendirmeleri vs ile ortadan kaldırılabilir. Bu zahmeti ben de anlayamadım.

Robots.txt kullanımı hakkında en dogru bilgiyi
http://www.robotstxt.org/robotstxt.html
buradan ögrenebilmek mümkündür.