robots.txt e takıldı herkes, gidiyor. uğraşmayın bununla.
Disallow görme-indeksleme demektir. yukarıdakilere göre kendiniz değerlendirin.