Yanlış okumuşum hocam kusura bakma
O zaman robots.txt ne şu kodu ekle.
User-agent: *
Disallow: /
bu engellemez indexlemeyi
teoride engeller ama indexleyip indexlememek arama motorunun keyfine kalmış
belki şöyle yapabilirsiniz
üyelik panelini kullanarak botların indexlemesini bir nevi engelleyebilirsiniz
üye olmayan kategorilere giremez
ya da bot iplerini listeleyerek bu ip leri engelleyerek hostunuza ulaşmasını da engelleyebilirsiniz