ısmarlama robots.txt olmaz arkadaşlar. Sistemin ne ? eğer bir script kullandıysan bunu belirt ki doğru robots.txt dosyasını yapabilesin mesela oscommerce gibi. maltepeli arkadaşımız sana bir örnek göndermiş fakat oradaki urller senin sitende varmı ?.
Eğer kafan karıştıysa en basitini yap. aşağıya yazıyorum.
işletim sistemin windows ise masaüstünü sağ tıkla - yeni sekmesine gel - metin belgesini tıkla. Masa üstünde oluşan yeni metin belgesi.txt dosyasını çift tıklayarak aşağıdaki kodu kopyalayıp yapıştır. Ve yeni metin balgesinin adını robots.txt yap FTP deki ana dizine "index dosyasının olduğu bölüm" buraya at.
Kontrol etmek için ise tarayıcıya urlyi yazıp kontrol et. örnek seninsiten.com/robots.txt
robots.txt

User-agent: *
Disallow: