Veri Botu Hakkında -> Soru

02-01-2022, 12:48:27

Merhaba Arkadaşlar,

Sizlere bir soru sormak istiyorum.
Bir fiyat kontrolü ve ürün tanıtım amaçlı bir projeye başladım.

Ürünleri Örnek Trendyol gibi alışveriş siteleri üzerinden çekiyorum siteye ekliyorum.
Tablo yapısı;
Ürün Adı
Ürün URL Adresi -> Fiyat değişikliği kontrolü için geçerli.
Ürün Geçerli Fiyat
Ürün İndirimli Fiyat

** Crulda çalışması için bir sayfa oluşturuyorum günlük olarak eklenen sitelere girip ürünlerin fiyatları değiştirdiğinde farklı bir tabloya atarak düzenleme yapıyor.
** Ürün sayısı 150 olduğunu düşünürsek 150 URL sayfaya günlük bot girerek ürünün orada olup olmadığını ve fiyatının değişip değişmediğini kontrol ediyor.

Soruya geçiyorum;
150 sayfanın curl ile açılması sunucuyu kitlenmez mi ?
Piyasadaki tutulmamış fiyat takip siteleri peki nasıl ürünlerin fiyatlarını çekerek güncelliyor. ?
Önerebileceğiniz farklı bir yöntem var mıdır ?

Teşekkürler.

02-01-2022, 13:01:28

#2

ebubekirbastama

aqua adlı üyeden alıntı: mesajı görüntüle

Merhaba Arkadaşlar,

Sizlere bir soru sormak istiyorum.
Bir fiyat kontrolü ve ürün tanıtım amaçlı bir projeye başladım.

Ürünleri Örnek Trendyol gibi alışveriş siteleri üzerinden çekiyorum siteye ekliyorum.
Tablo yapısı;
Ürün Adı
Ürün URL Adresi -> Fiyat değişikliği kontrolü için geçerli.
Ürün Geçerli Fiyat
Ürün İndirimli Fiyat

** Crulda çalışması için bir sayfa oluşturuyorum günlük olarak eklenen sitelere girip ürünlerin fiyatları değiştirdiğinde farklı bir tabloya atarak düzenleme yapıyor.
** Ürün sayısı 150 olduğunu düşünürsek 150 URL sayfaya günlük bot girerek ürünün orada olup olmadığını ve fiyatının değişip değişmediğini kontrol ediyor.

Soruya geçiyorum;
150 sayfanın curl ile açılması sunucuyu kitlenmez mi ?
Piyasadaki tutulmamış fiyat takip siteleri peki nasıl ürünlerin fiyatlarını çekerek güncelliyor. ?
Önerebileceğiniz farklı bir yöntem var mıdır ?

Teşekkürler.

Ben bi ara müşterime masüstü yazmıştım günlük kontrol edebiliyordu. 150 sayfaya kademe kademe istek yollayabilirsin mesela

02-01-2022, 13:44:44

#3

brown

Developer

curl multi kullanabilirsiniz.

Detaylı bilgi:
https://www.php.net/curl_multi_init

02-01-2022, 14:47:28

#4

lookout

fatbotter.com

aqua adlı üyeden alıntı: mesajı görüntüle

Merhaba Arkadaşlar,

Sizlere bir soru sormak istiyorum.
Bir fiyat kontrolü ve ürün tanıtım amaçlı bir projeye başladım.

Ürünleri Örnek Trendyol gibi alışveriş siteleri üzerinden çekiyorum siteye ekliyorum.
Tablo yapısı;
Ürün Adı
Ürün URL Adresi -> Fiyat değişikliği kontrolü için geçerli.
Ürün Geçerli Fiyat
Ürün İndirimli Fiyat

** Crulda çalışması için bir sayfa oluşturuyorum günlük olarak eklenen sitelere girip ürünlerin fiyatları değiştirdiğinde farklı bir tabloya atarak düzenleme yapıyor.
** Ürün sayısı 150 olduğunu düşünürsek 150 URL sayfaya günlük bot girerek ürünün orada olup olmadığını ve fiyatının değişip değişmediğini kontrol ediyor.

Soruya geçiyorum;
150 sayfanın curl ile açılması sunucuyu kitlenmez mi ?
Piyasadaki tutulmamış fiyat takip siteleri peki nasıl ürünlerin fiyatlarını çekerek güncelliyor. ?
Önerebileceğiniz farklı bir yöntem var mıdır ?

Teşekkürler.

150 urlye tek tek istek atin her istek arasi 1 saniye bekletin güvenlik için. 150 saniyede tüm verileri güncellemiş olursunuz. 150sini de ayni anda yapmaya bence gerek yok. yanlis anladiysam affola

02-01-2022, 17:49:11

#5

fatihemre

Kuyruklama ile ilgili biraz araştırma yapmanız gerekecek. Şunlara bir göz atmanızı öneririm: Beanstalkd, RabbitMQ

Yok ben work queue kullanmayacağım derseniz de kaynak tüketimini yönetmek adına PCNTL metotları ile uğraşmanız, php aktif process'ini forklamanız, işiniz bitince forkladığınız process'i öldürmeniz vs. gerekecek.

02-01-2022, 21:10:47

#6

aqua

Cevaplarınız için teşekkür ederim

herkesin önerisini deneyeceğim