burada vermişler hazır sistemler için örnekler inceleyin ve diğer kaynaklarada bakın.
https://www.seohocasi.com/hazir-sistemler-icin-en-iyi-robots-txt-dosyalari/
Tesekkurler denedim buradakini gonder dedom webmastertools tan sayfayi yenileyip test edin diye uyari cikti. Test e basinca izin verildi yazdi ve robor text e girdigim yazi yok olarak robot tex bulunamadi uyarisi verdi.