Wordpress kullanıyorsanız alt kısımdaki vermiş olduğum kodu kullanınız.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: http://www.asd.com/sitemapindex.xml

Normal bir html ve asp alt yapı kullanıyorsanız alttaki kodu kullanınız.

User-agent: *

Sitemap: http://www.asd.com/sitemapindex.xml