Merhaba arkadaşlar, r10.net sayfalarının birinde çok güzel bi robots.txt dosya çalışması vardı, birtürlü başlığı bulamıyorum. acaba oradaki gibi bi robots.txt oluşturabilirmiyim :S
Bahsettiğim dosyada msn,google,yahoo isimleri geçiyordu her birine ayrı ayrı izinler hazırlanmıstı

robots.txt içinde
Google Bot
Msn Bot
Yahoo Bot

diyerek sıralıydı