google bikaç sayfanızı indexlese ne olacak ki yani ne kaybedersiniz ki.Bence robots.txt mantıksız ama üstadlar bişeyler derse daha net anlaşılır bu konu kesin konuşmayım.