sitenin sitemap.xml adresi varsa onu çekip ayıklarsınız en basiti. yada rss.