Hızlı veri çekme hk / PHP

10-02-2023, 23:47:45

Bir siteden localhostte görüntülemek için bazı verileri çekmek istiyorum. Aynı sayfada birden fazla sorgudan gelen veriyi listelemek istiyorum. Şu an dom ile çekiyorum veriyi ama çok yavaş kalıyor. Yaklaşık 30 defa çalıştırıyorum döngüyü. Her çalıştırmamda da sayfaya bağlanıp ilgili xpath üzerinden istediğim kısımları çekiyor. Bu işlemi hızlı çözmek mümkün mü? Farklı bir yolu var mı yani hızlı veri çekmenin?

10-02-2023, 23:56:34

#2

OneGui

PetitJoueur adlı üyeden alıntı: mesajı görüntüle

Bir siteden localhostte görüntülemek için bazı verileri çekmek istiyorum. Aynı sayfada birden fazla sorgudan gelen veriyi listelemek istiyorum. Şu an dom ile çekiyorum veriyi ama çok yavaş kalıyor. Yaklaşık 30 defa çalıştırıyorum döngüyü. Her çalıştırmamda da sayfaya bağlanıp ilgili xpath üzerinden istediğim kısımları çekiyor. Bu işlemi hızlı çözmek mümkün mü? Farklı bir yolu var mı yani hızlı veri çekmenin?

Curl

10-02-2023, 23:59:00

#3

Misafir

Arkadaşın dediği gibi ben de curl ve preg_match kullanırım veri çekmek için. Ayrıca mümkünse veriyi direk sayfanın tamamını yükleyerek değil de api ya da api linki tarzı üzerinden çekmek lazım. Örneğin, bir imdb sayfasını yüklemeyi bekleyip filmin yılını almak var, bir de imdb'de yukarıdaki hızlı aramanın linki üzerinden filmin yılını almak var. Binlerce sorgu yapınca aradaki fark muazzam sürelere çıkıyor.

11-02-2023, 01:35:43

#4

hurfikir

Her seferinde niye bağlanıyorsunuz ki sayfaya? cUrl ile sayfayı alın ve istediğiniz kısımları kesin.

11-02-2023, 09:43:21

#5

PetitJoueur

hurfikir adlı üyeden alıntı: mesajı görüntüle

Her seferinde niye bağlanıyorsunuz ki sayfaya? cUrl ile sayfayı alın ve istediğiniz kısımları kesin.

Yanlış ifade ettim sanırım o kısmı hocam. Her seferinde aynı sayfaya bağlanmıyorum. Arama yapılan bir sayfaya bağlanıyorum ama aranan değerler farklı olduğundan böyle yapıyordum.

Https://www.site.com/search?keyword=deneme1
Https://www.site.com/search?keyword=deneme2
Https://www.site.com/search?keyword=deneme3

Gibi 28 adrese bağlanıyorum çıkan sonuçları listeliyorum.

11-02-2023, 09:44:37

#6

PetitJoueur

Misafir adlı üyeden alıntı: mesajı görüntüle

Arkadaşın dediği gibi ben de curl ve preg_match kullanırım veri çekmek için. Ayrıca mümkünse veriyi direk sayfanın tamamını yükleyerek değil de api ya da api linki tarzı üzerinden çekmek lazım. Örneğin, bir imdb sayfasını yüklemeyi bekleyip filmin yılını almak var, bir de imdb'de yukarıdaki hızlı aramanın linki üzerinden filmin yılını almak var. Binlerce sorgu yapınca aradaki fark muazzam sürelere çıkıyor.

Sitede api desteği yok hocam. Olsa keşke diye çok irdeledim de.

11-02-2023, 12:00:46

#7

Misafir

PetitJoueur adlı üyeden alıntı: mesajı görüntüle

Sitede api desteği yok hocam. Olsa keşke diye çok irdeledim de.

Api olmayabilir hocam. Ama dediğim gibi kendiniz linkten alabilirsiniz. Benim imdb örneğindeki gibi.

12-02-2023, 13:02:34

#8

trgino

30 defa aynı url ye mi gidip farklı xpath larımı istiyorsunuz?
30 farklı url deki farklı bilgilerimi almak istiyorsunuz?
yaptığınızı kodlarla anlatsanız daha yararlı olur.