Tüm istekleri kabul etmek için,

User-agent: *
Allow: /

Ek olarak site haritası ekleyebilirsiniz,

Sitemap: sitemap tam adresi https://siteadresi.com/sitemap.xml vb.şekilde