Hocam selenium ile yapabilirsiniz. Daha önce bqya kapsamlı bir tool yapmıştım. Kendi kullanımım için olduğundan paylaşmıyorum tabi. Kaç yüz bin sayfa çekileceğine göre zaman değişir o kadar.