Güzelim robots.txt duruyor bu iş için.