.htaccess dosyasina su kodu eklemek isinize yarayacaktir:

<files sitemap.xml>
order allow,deny
deny from all
</files>