404 sayfasında head etiketi içerisinde <meta name="robots" content="noindex,follow" /> şeklinde kullanırsan robots.txt ile uğraşmana gerek olacağını sanmıyorum