Robots.txt arama motorlarının bazı sayfalara erişmesini engellemek için kullanılır. İndex alıyorsa önemli bir zararı dokunmuyor demektir. Bu değişiklik index hızını artırmaz. Ama yapılması gereken bir değişikliktir.