site url verirmisiniz şu şekilde http://www.siteismi.com/robots.txt