Xhr istekleri göndererek gelen veriyi parse edeceksiniz. Eğer browser kullanıyorsanız da yapmanın yolu var elbette
javascript kodu sayesinde o aşağı indikçe öğeler yükleniyor requests ile çalıştıramazsınız javascripti, phantojs vs kullanabilirsiniz veya
networku izleyerek istekleri requests üzerinde simüle edebilirsiniz
Hocam sadece request kullanıyorum bir yolu yok mu bu işin? tarayıcı açmak istemiyorum açıkcası