User-agent: *
Allow: /

Sitemap: https://siteadi.net/sitemap.xml

Bu yeterli olacaktır. Sitede page sistemi var ise onu bir de panelinizi disallow edin yeterli.. Paneli etmeye de gerek yok.

Ardından Search Consolede siteyi seçin, ayarlara gelin. Orada Robots.txt var ona tıklayın. Sağındaki 3 noktadan robots.txt dosyalasını güncelleyin.