Belli bir sınır belirleyebilirsiniz, örneğin 100 URL.
Her çalıştırmada bu sınıra göre işlem yaparsınız.
Daha sonra bir Cron Job kurarak periyodik şekilde veri alabilirsiniz.