Python Subreddit İçerik Çekme

Merhabalar, bir ihtiyaç doğrultusunda başladığım bu işte fikirlerinize ihtiyacım oldu. Bir scraping bot yapmak istiyorum. https://www.reddit.com/r/wallpapers/new/ burada açılan her konudaki fotoğrafın linki almam gerekiyor. Buraya bazen 40 dk da bir bazen 2 dk da 3 tane fotoğraf ekleniyor. Ben bunları almak için nasıl yöntem izlemeliyim ?

Her 5 dk da bir son eklenen linki alsam, belki 5 dakikada 3 fotoğraf eklenecek. Bunu yaparsam 2 fotoyu alamamış olurum.
Her 30 saniyede bir çalıştırsam, cihazı çok yorar diye düşünüyorum. Raspberry pi üzerinde çalışacak.
Database oluşturmam gerektiğini düşündüm gördüğüm bazı örneklerden. Bunu hiç yapmadım daha önce. Tek yol bu mu sizce ?

Var mı acaba bana fikir verebilecek bir bilgili kişi

Eğer illa ki python ile yapacağım diyorsanız biraz daha araştırmanız veya bilen birinden yardım almanız gerekiyor. Sadece redditte yayınlanan resimleri alacağım diyorsanız ifttt yi incelemenizi tavsiye ederim. ifttt'de reddit ile ilgili bir çok recipe bulunuyor.

https://github.com/RipMeApp/ripme bu örnek olabilir kullanıyorum ben.

wordpress automatic eklentisinde subreddit'lerden türe göre filtreleme ve yayınlama gibi seçenekler var..
isterseniz inceleyin, belki oradan esinlenebilirsiniz.

Bu kadar çabuk cevap gelmesine şaşırdım ve sevindim Acelesi yok biraz hobi projesi benimki. Kendimi geliştirmek için uğraşıyorum. Asıl meselem şu: ben telegrama bot yapıp her eklenen fotoğrafı kanala göndermek istiyorum. ifttt dediğiniz gibi mantıklı fakat limitli ve ben birçok subreddit den içerik çektirince limiti aşacak, duracak. Bazı botlar var fakat onlarda limitsiz kullanım için ücret istiyor. Yani kendim yapmak zorundayım

Önce ekşi sözlükten debe listesini ve o listeden seçilen başlığın içeriğini çekmeyi denedim ve çalıştı. Onunla kıyaslayarak bu da kolay olur dedim ama öyle olmayacak gibi

hocam bu verilen linki çektirmek için sanırım. Benim istedigim biraz daha farklı, otomasyon gibi.

Teşekkürler. Farklı fikirlere açığım.



Hocam o php ye giriyor sanki o kadar bilgim yok mevzuya.

Program; başladığında o anki toplam post sayısını x değişkenine atasın, her ~5 dakikada bir toplam post sayısı kontrol edilsin, eger bir artış mevcutsa yeni postları indirsin indirdikten sonra da toplam post tekrar x değişkenine atansın.

Yukarıdaki arkadaşın önerisi makul olmakla birlikte linkAyniMi şeklinde metod oluşturun. Eğer atılan son postun linki ile indirdiğiniz son link ayni ise veri çekmesin. Eğer aynı değilse veriyi çekip bir önceki postun linkini kontrol etsin.

Post sayısı aynı. Sayfada sürekli 10 post oluyor.

Evet bu mantıklı geliyor başta kulağa. Bir dizi oluşturup linkleri dizi içinde kontrol ettirebilirim. Fakat sorun şu:
Sayfada sürekli 10 post olacak. Ben diziye yazdırdığımda linkler şöyle olacak (alttaki sütun), 5 dk sonra sayfayı yenileyip değişen linkleri çek desem 1 deki a linki 4. sıraya kayacak ve tüm dizi değiştiği için hepsini yeni link kabul edip çekecek.

1-a
2-b
3-c
4-d
5-e
6-f
7-g
8-h
9-i
10-j

En iyisi linkleri çekip txt ye yazdırıp, linkleri oradan karşılaştırmak. Fakat hala bu uygulamayı sürekli çalıştırmak gerekiyor. 10 post 5 dk da gelebilir, 1 saatte de gelebilir. Tetikleyecek başka bir yol lazım

Katkınız için teşekkürler tetiklemeye hala çözüm arıyorum.

>>>Post sayısı aynı. Sayfada sürekli 10 post oluyor.
Demişsin ama sayfayı açınca ve aşağı kaydırınca yüzlerce post çıkıyor sayfanın sonu yok sanki. Ben mi yanlış yapıyorum?