Selamun aleyküm arkadaşlar;


Kırmızı renkli ikinci el alışveriş sitesindeki belirli arama filtrelerine göre çıkan ilanları takip edebileceğim bir Python botu yaptırmak istiyorum.
Sitede istediğim filtreleri manuel olarak ayarlayıp oluşan arama URL’sini botta kullanacağım. Örneğin şöyle bir link olabilir:
https://www.l****.com/elektronik_c15018?price=[2000-50000]&son=7-gun&user_rating=4&city_id=4000041&district_id=5000 469



Bu sadece örnek. Ben farklı filtrelerle başka arama URL’leri de verebilirim. Bot verilen URL’deki ilanları çekmeli.
Teknik olarak Selenium kullanılabilir, ya da siteye yapılan network istekleri analiz edilerek API üzerinden veri çekilebilir.


Botun temel olarak şunları yapmasını istiyorum:

• Verdiğim arama URL’sindeki ilanları çekmek
• Pagination varsa tüm sayfaları dolaşmak
• Her ilan için ilan id, ürün adı, fiyat ve ilan linkini almak
  
  

Veriler SQLite veritabanına kaydedilmeli ve fiyat geçmişi tutulmalı. Bot her çalıştırıldığında:

• Eğer ilan yeni ise veritabanına eklenmeli
• Eğer ilan zaten varsa yeni fiyat geçmişe eklenmeli
  
  

Ayrıca bot:

• yeni ilanları tespit edebilmeli
• fiyatı değişen ilanları tespit edebilmeli
• fiyatları temizleyip sayısal formata çevirebilmeli
• proxy kullanımı için hazır yapı olmalı
• rate limit için random delay olmalı

Bir de önemli bir nokta:
Botun sürekli çalışmasına gerek yok. Bilgisayarın sürekli açık olması gerekmiyor. Ben istediğim zaman botu çalıştıracağım.
Yani belirli aralıklarla manuel olarak açıp o anki ilanları kontrol edecek ve değişiklik varsa kaydedecek.
Bu şekilde bot ihtiyacımız var. Yeterince anlaşılır şekilde yazdığımı düşünerek olurunu ve fiyat tekliflerinizi bekliyorum.
Hayırlı Ramazanlar.