Bir projem için 2.000 farklı web sitesinden iş ilanlarını çekip veritabanına kaydedecek botlara ihtiyacım var. Site sayısının çok fazla olduğunun farkındayım; ancak içerikler genelde oldukça basit ve birbirine benziyor. Bu yüzden sürecin bir kısmı belki AI ile otomatikleştirilebilir diye düşünüyorum.


Örnek olması için rastgele seçtiğim 3 site:

• https://jobs.worldline.com/search/?q...e&pageNumber=0
• https://careers.wizzair.com/search/?...acetsDD_title=
• https://jobs.vista.com/Vista/search/...DD_department=

İstenen sistem şu şekilde çalışmalı:

• Her bir site için bot, ilgili sayfalardaki iş ilanlarını düzenli olarak çekip veritabanına kaydedecek.
• Bu örneklerdeki gibi birbirine çok benzeyen toplam 2.000 site için bot geliştirilecek.
• Tüm botlar tek bir merkezden yönetilebilmeli:
  • En son ne zaman çalıştı?
  • Kaç ilan çekti?
  • Hata aldı mı?
  • Bloklandı mı / yapı değişti mi?
  • Loglar ve uyarılar (alert) gibi izleme ihtiyaçları

Bu kapsamda şu konularda bilgi rica ediyorum:

• Böyle bir proje için tahmini süre ve maliyet ne olur?
• Bu işi kısmen ya da büyük ölçüde belki AI ile otomatikleştirmek mümkün mü? (ör. benzer yapıdaki siteler için otomatik adaptasyon)

Fiyat tekliflerinizi veya yaklaşım önerilerinizi paylaşırsanız sevinirim. Teşekkürler.