Oda nedir dosya adimi anlamadim. Web kisminda nodejs puppeter tavsiye ederim. Puppeeter extra yuklersen bir cok siteyi aşarsin. Ayrica hata aldigin urlleri belirle. Sonra yazilimi curl ayarlarini yaparak o engeli asmaya calis. Ornek sen http dejiyorsundur ama sienin https yonlendirmesi uoktur hata alirsin. Bunu cozdukten sonra try catch yap hata aldiginda ayni url https olarak yonlendir.
Hocam Selenium baktım ama bana web tabanlı lazım diğer türlü bende js, puppeeter tarafalrında zayıfım biraz web taabnlı çalışıp dbye yazdırabileceğim bi yol varsa tavsiye edebileceğiniz.