http://www.siteismi.com/robots.txt seklinde oluyor genelde merak ettigin sitenin robots'unada ulasman mumkun