Otomatik Veri Çekme Hakkında Yardım

Merhaba arkadaşlar,
Fuar/sergi sitelerinde listelenen firmaların bilgilerini ülke ülke filtrelediğim şekilde toplamak istiyorum — ardından her firmanın web sitesine girip Chrome eklentisi Snovio’yu çalıştırarak e-posta adreslerini hazırladığım bir listeye tek tıkla ekleyecek bir çözüm arıyorum.
İhtiyacım olan veri:

• Firma adı
• E-posta (varsa)
• Telefon
• Web site

Durum özetim:

• Hedef siteler farklı davranıyor; bazıları popup ile açılıyor, bazıları yeni sekmede, bazıları aynı sayfa içinde dinamik yükleme yapıyor.
• Octoparse ile denedim fakat stabil değil — hata ve sayfa atlama sorunları çok fazla. Zaman kaybı yaşamamak için daha güvenilir bir çözüm arıyorum.
• İdeal akış: fuar sayfasındaki tüm firmaların bilgilerini tek tıkla çek, sonra her firmanın web sitesini açıp Snovio’yu tetikle (ve/veya Snovio’da hazırladığım listeye kaydet) — bu adım mümkünse otomatik olsun.

Aradığım çözümler (öncelik sırasıyla):

1. Hazır, güvenilir bir masaüstü/çevrimiçi araç veya servis (kodu yazmadan iş bitsin).
2. Veya sağlam bir bot/otomasyon çözümü (Selenium / Puppeteer / Playwright tabanlı) — popup, yeni sekme ve JS yüklemeleriyle stabil çalışmalı.
3. Snovio entegrasyonu: eklentiyi otomatik tetikleyecek veya Snovio API ile listeme doğrudan ekleyecek seçenek.

Beklediğim özellikler:

• Tek sayfadan (ör. exhibitor listesi) tüm firmaları alabilme (ad, e-posta, tel, web).
• Sayfa atlatma / pagination, popup ve modal içinde veri çekebilme.
• Her firmanın sitesine gidip ekstra e-posta yakalayabilme (Snovio ile ya da e-posta arama mantığıyla).
• Hata/exception yönetimi — takıldığında log/rapor verecek.
• Kolay kullanılabilir arayüz veya basit kurulup çalıştırılabilir script.

Eğer tecrübeniz varsa: hangi araç/servis veya mimariyi önerirsiniz? Hazır bir ürün mü tercih etmeliyim yoksa özel bir bot mu yazdırmalıyım? Kısa tavsiyeniz ve varsa örnek proje/araç adı paylaşırsanız sevinirim.

Hocam siteye göre kodu yazmadan otomatik çalışacak bişeyin olacağını sanmıyorum. Yıllardır bot konusunda destek veriyor, üretiyorum. Kimi siteler bazı tıklama işlemi olmadan popup gibi ekranlarda veriyi çekip sayfaya bilgileri dahil etmeden vermiyor. Haliyle bu tıklama olaylarını da tetiklemek sonra datayı almak gerekiyor.

Merhaba hocam. Söylediğim Octaparse uygulaması bunu yapıyor aslında. sitede belirlediğin tıklamaları ve verileri loopa alıyor ancak stabilir olarak yapmıyor. örneğin 2 sayfa varsa verdiğim komutta ilk sayfada yapılacakları gösteriyorum sonra 2nci sayfaya geç orda da aynısını yap diyorum ama yapmıyor sapıtıyor. O yüzden daha kolay veya anlaşılabilir bişey arıyorum. Tüm önerilere açığım


Ayrıca alacağım bilgiler sitede alt bilgiler değil hocam.
https://plus.dmea.de/showfloor/organizations

örneğin firmalar bu sayfada tıkladığında bilgilerine erişebiliyorsun zaten

Anladım. Bu tarz uygulamaları kullanmadım hiç. Bir kereye mahsus veri çekiyorsan tabi bot yazdırmak maliyetli olabilir bütçeye göre. Çok sayıda verisi olan ve uğraştırıcı siteler olursa desktop, web tabanlı bot konusunda yardımcı olabilirim.
Eğer düzenli olarak siteleri ziyaret ediyorsanız o zaman bot yazdırmak yine mantıklı olabilir.

Merhabalar. Tamamen sıfırdan selenium ile çalışacak Python kodu yazmayı deneyin. Chrome eklentileri ne müdahale edebilir mi emin değilim. Ancak her sitenin altyapısı farklı olduğu için değişkenleri ve sınıfları evrensel olan bir bot yapmak zor olacaktır. Kaç tane web sitesinden veri çekecekseniz her bir sitenin yapısına uygun scraper kodlarını tek bir ama kodda birleştirin, tüm veriler çekildikten sonra pandas ile .CSV formatında kaydedin. Ardından CSV içeriğini istediğiniz ilgili yere yapıştıracak farklı bir otomasyon yapın. Bunları aistudio, chatgpt gibi yerlerde yazdırabilirsiniz. Ücretli destek isterseniz ve aciliyeti yoksa, akşam üzeri bu konuyla ilgilenebilirim.