Web Scraping ile Karşılaştırma Sitesi Yapmak

Merhaba, akakçe ve cimri benzeri ama daha belli bir kategori için karşılaştırma sitesi yapmak istiyorum. Tahminimce bu siteler listeledikleri e-ticaret siteleriyle işbirliği sonucunda api aracılığıyla bu hizmeti sağlıyor. Yapacağım karşılaştırma sitesi buralarda listelenen e-ticaret sitelerine göre daha küçük çaplı ve daha az kategoriye ve belli konuda ürünlere sahip.

Bu proje için web scraping yapmanın hukuki sorumluluğu ne olur, aslında bu sitelerin reklamını yapmış olacağım ürünlerini ve sitelerini listelemiş olacağım. Bilgileri dahilinde bu işlemi yapmak ya da varsa api aracılığıyla mı bu işi yapmak gerekir.
Bu konuda deneyimli ya da bilgisi olanların görüş ve fikirlerini almak isterim teşekkürler.

Proxy maliyetlerini hesaplamaya başla şimdiden
YÜZBİNLERCE URL 'Yİ SÜREKLİ KONTROL Etmek basit değil , şu an üzerinde çalıştığım proje bu.

Teşekkürler fakat ben de onun üzerine çalışacağım ama yine de merak ettiğim sorunun cevabını arıyorum aslında
ayrıca benim yüzbinlerce url olmayacak dediğim gibi daha spesifik bir kategori için düşünüyorum.

Hocam eğer affiliate mantığı yaparsanız elimde
telefonkarsilastirma.net var.

Teşekkürler

Çok net hatırlamıyorum ama daha önce Konuşulunca telif sorunu olur denmişti. Sonuçta izin almadan karşı taraftan veri çekiyorsun ve serveri yoruyorsun ( Yersen yani )

Bence Küçük siteler için xml ile veri çekerek yapmak daha mantıklı olur hem ucuz hem yasal hem de sektörde küçük firmalara fayda sağlar.

O karşılaştırma sitleri para alarak ürün listeliyor.

evet benim demek istediğim de tam olarak bu aslında. Bakıldığında veri çekme işlemi var fakat bu karşı tarafın yararına olabilir sonuçta karşılaştırma sitelerinde listelenmesi için ödeme yapıyorlardır.
Ben ödeme almayacağım için (en azından mevcut/ilk etapta) çok server yoran bi işlem olmayacak sonuçta sıradan bir ziyaret sıklığında sunucuyu yormayan sınırlı bir scraping işlemi

benin sunucumu yormayacak ve benim ürümlerimi listelecekse ben sorun etmezdim ama yine de nasıl bir yöntem izlenmeli emin değilim

Düşüncen ve mantığın doğru ama Millet anlamaz. Hele millet para var diye düşünürse