Kitap Sitelerinden Fiyat Çekmek İçin WebScraping | API?

Kendi veritabanınızı oluşturmanız daha temiz olur bence. Benzer bir şekilde IMDB'deki filmleri çekmiştim yaklaşık 2 gün sürdü.

Veritabanından kastınız, bütün kitapları veritabanına yavaş yavaş eklemekten mi bahsediyorsunuz?

Veritabanından kastınız, bütün kitapları veritabanına yavaş yavaş eklemekten mi bahsediyorsunuz?

Elinizde düzgünce scrapleyebileceğiniz bir site varsa otomatik ekletebilirsiniz. Bunu yaparken gözden kaçan zafiyetlerden faydalanabilirsiniz. Örneğin IMDB üzerindeki bir dizinde tüm filmler var, sadece ileri butonundan sonraki sayfanın bağlantısını aldım. Listedeki filmleri döngüye sokup film sayfasıns istek atıp, istediğim verileri ekliyordum kendi veritabanıma.

Bu tarz bir sistem kurabileceğiniz bir kaynak varsa kendi veritabanınızı oluşturmanız çok daha iyi olur. Sorundan "manuel eklemek mi" anlamına vardım ^^

1 GBPS hattı olan bir VPS üzerinden saniyede 200-250 kadar kitap ekleyebilirsiniz eğer amaç kitap çekmek ise. Fiyat takibi vs. için kayıt etmenize gerek yok.

Flutter'da yeniyim ^^ Tek tek veritabanına eklemeyi kastetmiştim. Önerdiğiniz yolu araştıracağım. Teşekkürler.


Fiyat takibi için ne önerirsiniz? Şuan için sadece amacım fiyat takibini sağlamak ileride başka olabilir.

Flutter'da yeniyim ^^ Tek tek veritabanına eklemeyi kastetmiştim. Önerdiğiniz yolu araştıracağım. Teşekkürler.


Fiyat takibi için ne önerirsiniz? Şuan için sadece amacım fiyat takibini sağlamak ileride başka olabilir.

Bu işlemi sunucu tarafında yapıp kendi API mimarinizi kurmalısınız. Yani dart (flutter) ile değil başka bir dil ile sunucu taraflı veritabanınıza eklemelisiniz.

Mobil uygulama yapıyorsanız bunu uygulama içinde yapmak pek mantıklı değil. Sunucu kiralama şansınız varsa Node.js ya da Python ile scraping yapmanızı öneririm. Ardından bunu yazacağınız bir API aracalığı ile uygulamaya aktarırsınız. Sunucu kiralayamıyor iseniz paylaşımlı hosting üzerinde PHP ile de yapabilirsiniz.