hazır bulmana gerek yok googleda ara veya şuraya bir bak

robot.txt dosyasında ne yazmalı - vBulletin SEO Forums

veya google webmaster toolsdan googlen sana önerdiği dosyayı al