Normalde elle txt dosyasına yazıp FTP ile hostingine atman yeterli ama yardımcı olan siteler var.

https://www.seoptimer.com/robots-txt-generator buraya girip, izin vermek istediğin arama motorlarına allowed deyip oluştur.Oluşan txt dosyasını hostine at.