boş bir robot.txt dosyayı at ve bekle,neye yardımcı olacağız,gerisi google kalıyor,içeriğide istediğin tarzda doldur,yukarda örnekler verilmiş...