Merhabalar, bir ihtiyaç doğrultusunda başladığım bu işte fikirlerinize ihtiyacım oldu. Bir scraping bot yapmak istiyorum. https://www.reddit.com/r/wallpapers/new/ burada açılan her konudaki fotoğrafın linki almam gerekiyor. Buraya bazen 40 dk da bir bazen 2 dk da 3 tane fotoğraf ekleniyor. Ben bunları almak için nasıl yöntem izlemeliyim ?

Her 5 dk da bir son eklenen linki alsam, belki 5 dakikada 3 fotoğraf eklenecek. Bunu yaparsam 2 fotoyu alamamış olurum.
Her 30 saniyede bir çalıştırsam, cihazı çok yorar diye düşünüyorum. Raspberry pi üzerinde çalışacak.
Database oluşturmam gerektiğini düşündüm gördüğüm bazı örneklerden. Bunu hiç yapmadım daha önce. Tek yol bu mu sizce ?

Var mı acaba bana fikir verebilecek bir bilgili kişi