icat edilen herşey yararlı olamaz bence,zararlı olan biçok icat var ama robot.txt tabiki faydalıdır.yapılışı hakkında biraz bilgi de verirseniz sevinirim