Ödüllü Beyin Fırtınası-E-Ticaret Sitesi Son Yüklenen Ürünler 30TL (Python Request herkes bakabilir)

Merhaba
Bi konuda yardımlaşmamız birlikte fikir yürütmemiz gerekiyor benim bir projem için ufak bir yol olsa bile yeterlidir. Şu an kullandığım yöntemden daha hızlı daha kesin bir çözüm gerekiyor Öncelikle ne yapmak istediğimi ve ne yaptığımı anlatayım.
https://wunder.com.tr/sneaker
Yukarıdaki sitede yeni ürünler çıkıyor benim de bu ürünler çıktığı an haber almam bildirim almam gerekiyor. Daha önceki yol o sayfadaki ürünleri python request bs4 ile çekip db kayıt edip her saniye yenileri çekip db dekiler ile kıyaslamaktı.
Farklı bir yol olduğunu kesinlikle biliyorum şu an kullandığımdan farklı bi seçenek lazım bana daha hızlı daha kolay bir fikir bile kabul edilebilir.
Daha stabil daha hızlı belki görseller yüklenmeden belki bütün ürünlerin olduğu bir yol var bana da o lazım Birlikte konuşabiliriz hep birlikte konu altından, farklı bir yol bir fikir bir ipin ucunu bile verseniz bana yeterlidir Ödüll olarak ufak da olsa papara da 30TL var onu gönderebilirim
Çok teşekkürler herkese

Nasıl çekiyorsunuz yazı görsel ile birlikte mi çekiyorsunuz. Database kıyaslama nasıl yapıyorsunuz bunları belirtmeniz daha iyi olurdu.

Eğer siteye yeni ürün eklendiğini ve eklenen ürünün daha önce var mı diye kontrol etmek için canonical meta tagından faydalanın...

Haklısınız anlatıyorum hemen.
BS4 ile parçalara ayırıp direk ürün başlıklarını ve linkleri kayıt ediyordum sadece daha sonra her 1 saniye de bir tekrar istek gönderip tekrar yeni verileri alıp yeni veriler - eski veriler yaparak kıyaslıyordum
Bunun bir kaç dezavantajı vardı hem stabil olmuyor bazen ürün tekrar 1.sayfaya geliyor yeni bi şey oluyor ve zaman kaybettiriyordu. Farklı yol olduğundan eminin farklı bir link üzerinden bütün ürünleri görüntüleyebileceğim.

Uzman değilim ama ben olsam şöyle yapardım.
Tüm verileri çeker kayıt ederdim. Daha sonra yeni veri var mı diye kontrol etmek için url var ise false döndürüp yoksa true döndürüp ürünü yeni kayıt ederdim.
https://wunder.com.tr/sneaker tüm sayfaları gezmek yerine en fazla ilk 3 veya 4 sayfayı kontrol ettirirdim.

İşte bu hız bana asla yeterli değil ben sadece aynı mantık ile ilk sayfayı kontrol ettirip kıyaslıyourdum. Bana daha backend bir çözüm gerekli linkleri ürün linkleri listelemek gibi

Sizin yaptığınız işlemler:
1- siteden veriyi çekiyorsunuz ve db kayıt ediyor.
2- Siteden tekrar veri çekiyor ve db kayıt ediyor.
3- Kayıt edilen eski ve yeni verileri kıyaslıyorsunuz.
Bu şekilde db çok fazla işlem yapılır.

Benim ise bahsettiğim
1 - siteden veriyi çekiyorsunuz ve db kayıt ediyor.
2- siteden gelen veriler varmı diye kontrol ediyor.
3- Gelen veri var ise bir işlem yapmıyor yok ise yeni kayır yapıyor.

Eğer imkanınız var ise karşı db yi kendi db nize kopyalayacak bir yöntem lazım size.

Merakla takipteyim. Reddit to tg bot için db metodunu kullanıyorlardı. Daha farklı bir çözüm bende düşünmüştüm. Github da reddit to telegram bot diye aratırsanız belki fikir verir farklı bir yöntem görürsünüz. O botta her yeni düşen konuyu telegrama atıyor.

Senin yaptigin yoldan baska bir yontem olacagini sanmiyorum hocam

Kesinlikle olduğuna eminim rakiplerimden ötürü

Evet evet bana da tam böyle bi şey gerekiyor aslında db metodu biraz daha açabilir misiniz
https://github.com/danlou/telegram-reddit
https://github.com/Polpetta/RedditToTelegram
https://github.com/boxdox/reddit-to-telegram-channel
bu üç githubı karıştıracağım

Hocam tam anlatamamış olabilirim ama tam olarak yaptığım sizin bahsettiğiniz zaten


Örnek olması açısından aşağıdaki sitede de bakabilirsiniz
https://shopigo.com/collections/sneaker