notepad i açacaksın aşağıdakini yazacakson sonra ftp ye atacaksın sonrada adını robots.txt yazacaksın. Arama motoru örümcekleri önce burayı okur ona göre indexler.