http://www.robotstxt.org/robotstxt.html burayı inceleyebilirsiniz