Eğer tüm herşeyin robotlara maruz kalmasını istiyorsanız doğru.
Gerekli dizin ve dosya güvenliğini .httaccess'tan almanızda ve aşağıdaki gibi sitemap eklemenizde ayrıca bir fayda var.


User-Agent: *
Allow: /

Sitemap: https://site.com/sitemap_index.xml