Sitemap dışında bu alanda bir nokta bilmiyorum eskiden tüm siteyi html olarak indirebildiğiniz programlar falan vardı belki o tarz bir program ile crawl edebilirsiniz.
Bot vs. amacıyla kullanacaksanız farklı işlemler var ancak direkt olarak böyle bir tool bilmiyorum açıkçası...