Python Subreddit İçerik Çekme

>>>Post sayısı aynı. Sayfada sürekli 10 post oluyor.
Demişsin ama sayfayı açınca ve aşağı kaydırınca yüzlerce post çıkıyor sayfanın sonu yok sanki. Ben mi yanlış yapıyorum?

yerinizde olsam 5dk da bir post atardım ve örnek olarak son 10 postun linklerini veya eşsiz olabilecek birşeyini saklar ve her post ta saklananları kontrol ederdim aynısı var ise geçer yok ise farklı olduğuna göre işlem yapardım

https://old.reddit.com/r/wallpapers/new/?limit=50 şeklinde 10dan fazla link çekersiniz. Son çekilen linki değişkene atayıp oradan karşılaştırarak yenileri seçeblirsiniz.

Bunu çözdük 2 üstteki arkadaşın dediği de benzer birşeydi. Txt ye alır oradan kontrol ettirebiliriz linkleri fakat 5 dakika neye göre 5 dakika belki 5 dakikada 15 post gelecek bu da 5 postu kaçırmak demek. 1 dakika yaparsak cihaza yazık, verimli değil.



Bak bunu bilmiyordum hocam. Programın çalışma aralığını belirlemek için bu güzel bir link. Buradan optimize edilebilir. Sonuçta 50 tane konu 1 dakikada açılmaz normal durumlarda

Evet aslında bu bilgilerle bot yapılır gayette çalışır fakat ben farklı çözümler üretelim düşünelim diye sormaya devam ediyorum. Reddit'in api servisi var. Çok bakamadım daha fakat oradan yeni post geldikçe bir tetikleme kurulabilir mi acaba ? Yani çalıştırmamız bizim belirlediğimiz zamana baglı olmasın. Her apiden bilgi geldikçe uygulamamız çalışsın. Böyle bir şey mümkün mü sizce ?

httpx ıle request atıp scrapy ıle cekebılırsınız resım ıcın urllib kutuphanesıne bakın derım bıraz eskıde olsa rasp. ada gerek yok pythonanywhereyı sunucu olarak kulanabılırsın

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import requests,mimetypes,re

headers = {}
headers['User-Agent'] = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"

#url = "https://www.reddit.com/r/wallpapers.rss"
url = "https://www.reddit.com/r/wallpapers/new.rss"

data = requests.get(url, headers=headers)
soup = BeautifulSoup(data.content,"html.parser")
img = str(soup.select("content"))

images = re.findall('https:\/\/i\.redd\.it\/(.*?)\.(png|jpg|jpeg)', img)

for i in images:
imagesurl = "https://i.redd.it/"+i[0]+"."+i[1]
print(imagesurl)

Bu işini görmezmi ? url ler hazır geliyor. Sadece locale indirmek kalıyor. Orasınıda sen halledersin. Ayrıca girintiler r10 da olmuyor malesef. Gece gece biraz takılalım dedik :P Ayrıca rss de eklenme tarihide ve saatleride var. Bu tarih ve saati kullanarak, dublicate resimleri engellersin. Yeni eklenen resimleri çeker işi çözersin.
Reddit ile ilgili güzel projeler varsa pm atın. Para kazandıracak şeylerden bahsediyorum.Surçi lisan ettiysek afola.

Teşekkürler. Çekme işinde sıkıntı yok aslında. bs4 ile de çekilir, yinede bunlara da bakcam. pythonanywhereyı biliyorum da free de yok şu yetmedi yok bu yetmedi premiuma geçin der kafam bozulur ugrasmam


Elinize sağlık hocam çok iyi oldu bu. Asıl soruma cevap yok hala bu program ne kadar zamanda bir çalışacak? yani dakikada 1 mi 10 dakikada 1 mi ? Hem gelen hiç bir yeni fotografı kaçırmayalım, hem cihazı çok yormayalım verimli olsun. Var mı bir yolu bunun ?

Galiba tek 5 dk 1 çalıştırıp https://www.reddit.com/r/wallpapers/new.rss?limit=100 bu linkten 100 gönderiyi kontrol ettirmek. Onuda linkleri txtye yazdırıp yeni gelen linki alarak yapcaz sanırım. Daha mantıklı bir yol var mı aklınızda hocam?

Reddit ile ilgili para kazandıracak projem yok fakat telegram kazandırabilir. Rss botları paralı. Ücretsizde 5-10 site-içerik takip ettiriyorlar. Limit arttırmak için ücret istiyorlar aylık. Globalde güzel bir bot yaparsanız satış yakalarsınız bence. Misal adamın biri deepnude uygulamasının botunu yapmış. Foto başı jeton istiyor. Jeton satıyor,illa alan vardır.Birde sattıgını düşündüğüm şu var https://www.integromat.com/en/ bir çok bot var telegram için. Sizde bu tarz bir şeyler yaparsanız satış alır.