Bunu ekledikten sonra .htaccess ile de yasaklarsanız hiç bir türlü kontrol etmez fakat sitemap.xml üzerinden silin.