Arkadaşlar vb de çoğumuz bot lar için robots.txt dosyasını oluşturup ana dizine atarız.
Bu dosyaya genelde admincp ve modcp lerin adını değiştirdikten sonra o panellerin yeni adınıda yazarız botlar indexlemesin diye.
Şimdi herhangi bir vbulletin kullanan forumun sonuna /robots.txt yazarsak eger robots dosyası varsa botlara hangi yolları engellediğini yazıyor.
Lakin herkesin bu duruma erişmesi çok kötü.
Mesela varsayalım beni tanıyan bir arkadaşım var, tüm sitelerde şifre parolamı aynı yaptıgım için admin panalede aynısını koydum diyelim. Yeni koydugum değiştirdigim admin panel adını bulup şifremi de tahmin ederek admin panele de girebilir mesela biri.
Yani birinin girip girmemesi de önemli değil panele.
Ama ben botların indexlenmesini istemiyorum.Lakin herkes robots.txt dosyasını forum adresi sonuna yazıp görebildiği içinde robots.txt dosyasına yazamıyorum.

Şimdi vbulletin.org da dahil bütün büyük sitelerin robots.txt dosyalarına baktım;
İnternette ki dosyalar gibi öyle showthread.php,moderator.php gibi dosyalar yok.

Yani şimdi vbulletin.org un robots dosyası şöyle;
User-agent: Slurp
Crawl-delay: 5

sadece bu var.
Yani bu adamlarda başka insanların lisans bilgileri var,
üye bilgileri var.

Bu insanlar botlardan indexlememesini istedikleri dosyaları nasıl saklıyorlar acaba.
Bu konuda bilgisi olan var mı?