robots.txt ile birden çok şey yapılabilir.

Mesela konu engelleyebilirsin, bot engelleyebilirsin veya botları çağırabilirsin, sitenin tamamını googlenin görmesini sağlayabilirsin vs.

ne yapmak istediğinizi söylerseniz ona göre cevap alırsınız