Online toollar ile o sitenin xml'ini oluşturabilirsiniz. Oradan tüm linkleri çekebilirsiniz diye düşünüyorum. "Sitemap Generator" kelimesi ile birçok online tool mevcut. https://octopus.do/sitemap/resource/generator bu adrese bakabilirsiniz.