2.000 Site İçin Bot Crawler Yazdırma

19-12-2025, 03:48:13

Bir projem için 2.000 farklı web sitesinden iş ilanlarını çekip veritabanına kaydedecek botlara ihtiyacım var. Site sayısının çok fazla olduğunun farkındayım; ancak içerikler genelde oldukça basit ve birbirine benziyor. Bu yüzden sürecin bir kısmı belki AI ile otomatikleştirilebilir diye düşünüyorum.

Örnek olması için rastgele seçtiğim 3 site:

İstenen sistem şu şekilde çalışmalı:

Her bir site için bot, ilgili sayfalardaki iş ilanlarını düzenli olarak çekip veritabanına kaydedecek.
Bu örneklerdeki gibi birbirine çok benzeyen toplam 2.000 site için bot geliştirilecek.
Tüm botlar tek bir merkezden yönetilebilmeli:
- En son ne zaman çalıştı?
- Kaç ilan çekti?
- Hata aldı mı?
- Bloklandı mı / yapı değişti mi?
- Loglar ve uyarılar (alert) gibi izleme ihtiyaçları

Bu kapsamda şu konularda bilgi rica ediyorum:

Böyle bir proje için tahmini süre ve maliyet ne olur?
Bu işi kısmen ya da büyük ölçüde belki AI ile otomatikleştirmek mümkün mü? (ör. benzer yapıdaki siteler için otomatik adaptasyon)

Fiyat tekliflerinizi veya yaklaşım önerilerinizi paylaşırsanız sevinirim. Teşekkürler.

19-12-2025, 03:58:33

#2

doganemrex

şöyle açıklayayım verdiginiz 3 siteninde çekmek istediginiz jobs divlerinin muhtemelen isimleri ve classları çok farklıdır botlar o elementlerden içerigi algılayabilir ve çeker

yani altyapısı aynı olan siteleri bir bot aynı anda çalıştırabilir ve yönetilebilir

altyapı aynı değilse zor iş ve sana pahalıya patlar yani benim tecrübem bu daha iyisini bilen de buyursun alıntılayıp fikrini söylesin

dersen ki 2000 siteden 500ü aynı altyapıya sahip o zaman uygun bi fiyat verebilirim yönetimini de yaparsın düşünürsen öm atabilirsin

19-12-2025, 04:12:58

#3

Gelistir

doganemrex adlı üyeden alıntı: mesajı görüntüle

şöyle açıklayayım verdiginiz 3 siteninde çekmek istediginiz jobs divlerinin muhtemelen isimleri ve classları çok farklıdır botlar o elementlerden içerigi algılayabilir ve çeker

yani altyapısı aynı olan siteleri bir bot aynı anda çalıştırabilir ve yönetilebilir

altyapı aynı değilse zor iş ve sana pahalıya patlar yani benim tecrübem bu daha iyisini bilen de buyursun alıntılayıp fikrini söylesin

dersen ki 2000 siteden 500ü aynı altyapıya sahip o zaman uygun bi fiyat verebilirim yönetimini de yaparsın düşünürsen öm atabilirsin

Fikrinizde haklısınız hepsi için ayrı bir yapı gerekir en azından benzer olmayanlar için , yapay zekanın kaynak kodu analiz edip ilanları kaydedeceği bir çözüm uygulanabilir belki ancak her iki ihtimaldede gayet bütçe gerektirir.

19-12-2025, 04:14:26

#4

Esha0710

Tüm sitelerin linkini atabilirseniz fiyat verebilirim.

19-12-2025, 04:39:48

#5

brown

Developer

500k sayfa için crawl apiye aylık 15k tl
Gelen kod yapay zekaya gidecek, gpt api 4000$ ort

Hayirlisi diyelim takipteyim

19-12-2025, 06:31:17

#6

Semotion

=> Bağımsız 2 bot'u kusursuz halde ( gitti , okudu , döndü , yazdı , tekrar kuyruğa girdi , çalışma sağlığını raporladı vs. ) 1 günde yazdığımızı varsayalım.
=> %80 'ininde birbirine çok benzediğini varsayalım ( 1600 site / günde 200 / 8 gün )
=> %20'si birbirinden bağımsız olduğu varsayımında ( 400 site / günde 2 / 200 gün )
=> 208 x 8 saat x $10 saatlik ücret gibi hesapla $16k nın altında yapılması makul değil.

19-12-2025, 06:44:31

#7

netpositive

Yapay zeka olmadan doğal dil işleme ile daha uyguna yapılması mümkün, ancak veri kaçan sayfalar olabilir örneğin 2000 site değilde 1200 siteden veri çekilmiş olur.

19-12-2025, 07:44:07

#8

SouthWebNet

Her Zaman Daha İyisi

Merhabalar, Projeyi yapmak isteriz. Müsait zamanda detayları alabilirmiyiz? 10+ yılı aşkındır sektördeyiz. Profilimizdeki whatsapp üzerinden ulaşabilirsiniz.

19-12-2025, 08:24:48

#9

AdsenseAccount

selam hocam her biri için ufak bir bot yazılır botlara cron yazılır botlara dısa xml vermesı ıcın xml yapı yapılır sıtenızde içerik çekme için xml veri çekme alanı var ise sorunsuz olarak bu dedıgım ıslem sıkıntısz temız yapılır hocam
örnek bir musterıme lastik tedarik için yazdım demosu mevcut hocam yazarsanız demo verebılırım