curl veri çekerken hızlandırmak

13-04-2018, 18:26:40

~~HB7~~

Üyeliği durduruldu

merhabalar

curl ile başka siteden veri çekip preg match ile veriyi bölüyorum. sitemin belli bi kısmınıda bunu kullanıyorum. bunu hızlandırma şansım var mı acaba? Cache kullanmıyorum veriler anlık çekiliyor. veri çekilen site yavaş değil.

13-04-2018, 21:53:38

#2

ayrimsal

Kimlik doğrulama veya yönetimden onay bekliyor.

Paralel curl çalıştırabilirsiniz, aynı anda iki farklı sayfayı çekersiniz.

13-04-2018, 21:56:28

#3

CoLLeR

HB7 adlı üyeden alıntı: mesajı görüntüle

merhabalar

curl ile başka siteden veri çekip preg match ile veriyi bölüyorum. sitemin belli bi kısmınıda bunu kullanıyorum. bunu hızlandırma şansım var mı acaba? Cache kullanmıyorum veriler anlık çekiliyor. veri çekilen site yavaş değil.

Cache kullanmanı öneririm hatta başka yol yok diyebilirim.Veri anlık bile olsa gerekirse 2sn lik cache kullan cache de amaç sorgu sayısını azaltmaktır.2 saniye içerisinde 1000 kere sayfa açılsa(1000 kişi girse) her açılmada 1000 sorgu yapar.Ama cachede tek sorgu ile php yükünü azaltır geri 999 kişiye sadece çıktı gösterirsiniz.

14-04-2018, 14:09:50

#4

~~HB7~~

Üyeliği durduruldu

ayrimsal adlı üyeden alıntı: mesajı görüntüle

Paralel curl çalıştırabilirsiniz, aynı anda iki farklı sayfayı çekersiniz.

Zaten tek sayfadan veri çekiyorum hocam preg matchle ayırma yapıyorum birden fazla bağlantı yok.

CoLLeR adlı üyeden alıntı: mesajı görüntüle

Cache kullanmanı öneririm hatta başka yol yok diyebilirim.Veri anlık bile olsa gerekirse 2sn lik cache kullan cache de amaç sorgu sayısını azaltmaktır.2 saniye içerisinde 1000 kere sayfa açılsa(1000 kişi girse) her açılmada 1000 sorgu yapar.Ama cachede tek sorgu ile php yükünü azaltır geri 999 kişiye sadece çıktı gösterirsiniz.

milyonlarca sayfa var bu yüzden cache yapma şansım yok. preg match kullanarak ayırma yapıyorum.

14-04-2018, 23:15:22

#5

Cankat

HB7 adlı üyeden alıntı: mesajı görüntüle

Zaten tek sayfadan veri çekiyorum hocam preg matchle ayırma yapıyorum birden fazla bağlantı yok.

milyonlarca sayfa var bu yüzden cache yapma şansım yok. preg match kullanarak ayırma yapıyorum.

Multi cURL kullan, milyonlarca işlemi birkaç dakikada aynı anda atıyorum 100 işlemi çalıştırarak sonuca ulaşabilirsin.

15-04-2018, 14:37:29

#6

Hayko

Eğer linkleri bölme ihtimaliniz varsa 1000 lik setlere bölüp aynı dosyadan istediğiniz kadar oluşturabilirsiniz.

Bu çoklu dosyaları da crona bağlarsanız sisteminiz biraz hızlanacaktır.

Ek olarak verileri anlık çekmek yerine veritabanı ile kullanırsanız sistem daha stabil olacaktır.