mesela /admin/ gibi yerlerin indexlenmesini istemezsen robots.txt den yasaklarsın. eğer sitenin heryerinin indexlenmesini istiyorsan robots.txt ye hiç gerek yok. koymasanda google gelir sadece disallow (indexlenmesine izin vermemek) için kullan.