robot.txt yi internette kolayca oluşturabilirsin https://www.google.com.tr/#hl=tr&gs_...w=1366&bih=667