php bot istek sorunu

12-10-2023, 22:58:45

Üyeliği durduruldu

sorun çözülmüştür.
Merhabalar, ufak bir bot yazmak istedim verileri sorunsuz alıyorum. sorunum ise 5 10 istek arka arkaya atılınca boş dönüyor bunun için nasil bir çözüm üretebilirim anlık veri çekimi olduğu için veritabanı ile çalışamıyorum direk siteden anlık veriyi alıp siteme basıyorum kısaca bir çözüm arıyorum

12-10-2023, 23:00:28

#2

~~IrmakDilara~~

Üyeliği durduruldu

Merhabalar,

CF veya WAF'a takılıyordur. Scrap işlemlerinde bu yaşanabilir. Eğer waf veya cf varsa bunun gibi işlemlerde selenium kullanmanızı tavsiye ederim.

12-10-2023, 23:03:47

#3

~~selcukcbk~~

Üyeliği durduruldu

IrmakDilara adlı üyeden alıntı: mesajı görüntüle

Merhabalar,

CF veya WAF'a takılıyordur. Scrap işlemlerinde bu yaşanabilir. Eğer waf veya cf varsa bunun gibi işlemlerde selenium kullanmanızı tavsiye ederim.

teşekkürler hocam. direk php ile ufak bir method aklınıza geliyor mu acaba? nasil birşey deneyebilirim zahmetsiz ise yoksa dediğiniz gibi selenium kullanicam

12-10-2023, 23:28:47

#4

fuatboluk

Merhaba, ekran alıntısında parese etme ayıklama işlemlerini göstermişsiniz veri çekme işlemi resimde yok. muhtemelen ratelimit e takılıyor olabilirsiniz yada kullandığınız fonksiyon çalıştığında birden fazla istek atıyor olabilir. Fonksiyonu görmediğim için detaylı yorum yapamayacağım. işlem süresince araya 1 saniye gibi bekleme koyabilirsiniz. duruma göre süreyi arttırabilirsiniz ve optimize edebilirsiniz. bir dk içeisinde attığınız istek sayısını fonksiyon içerisinde sınırlayabilirsiniz vs. böylece her attığınız istek kısa süre gecikmeli olsada mutlaka cevapla dönecektir. iyi çalışmalar

12-10-2023, 23:29:58

#5

~~selcukcbk~~

Üyeliği durduruldu

fuatboluk adlı üyeden alıntı: mesajı görüntüle

Merhaba, ekran alıntısında parese etme ayıklama işlemlerini göstermişsiniz veri çekme işlemi resimde yok. muhtemelen ratelimit e takılıyor olabilirsiniz yada kullandığınız fonksiyon çalıştığında birden fazla istek atıyor olabilir. Fonksiyonu görmediğim için detaylı yorum yapamayacağım. işlem süresince araya 1 saniye gibi bekleme koyabilirsiniz. duruma göre süreyi arttırabilirsiniz ve optimize edebilirsiniz. bir dk içeisinde attığınız istek sayısını fonksiyon içerisinde sınırlayabilirsiniz vs. böylece her attığınız istek kısa süre gecikmeli olsada mutlaka cevapla dönecektir. iyi çalışmalar

siteme direk iframe ile entegreli hocam siteme giren kullanıcılar otomatik istek atmış oluyor bu şekilde kullanıyorum

12-10-2023, 23:33:08

#6

fuatboluk

selcukcbk adlı üyeden alıntı: mesajı görüntüle

siteme direk iframe ile entegreli hocam siteme giren kullanıcılar otomatik istek atmış oluyor bu şekilde kullanıyorum

Öyle olmaz! Siteye anlık 250 kullanıcı girse o an 250 istek atmış olursunuz ki buda mutlaka bir limite takılır. 15dk da bir veya 1 saatte bir veri çekme ve son süreyi en azından json gibi bir formatta kaydetme yoluna gidin. Böylece her sorguda tek istek atmış olursunuz son 15 dk veya 1 saat son alınan veriyi çekip göstermiş olacaksınız. veriler çok hassas değilse en az bir saat önceki veriyi göstermeyi öneririm. bu sayede 24 saatte 24 istek atmış olacaksınız.

12-10-2023, 23:47:44

#7

~~selcukcbk~~

Üyeliği durduruldu

fuatboluk adlı üyeden alıntı: mesajı görüntüle

Öyle olmaz! Siteye anlık 250 kullanıcı girse o an 250 istek atmış olursunuz ki buda mutlaka bir limite takılır. 15dk da bir veya 1 saatte bir veri çekme ve son süreyi en azından json gibi bir formatta kaydetme yoluna gidin. Böylece her sorguda tek istek atmış olursunuz son 15 dk veya 1 saat son alınan veriyi çekip göstermiş olacaksınız. veriler çok hassas değilse en az bir saat önceki veriyi göstermeyi öneririm. bu sayede 24 saatte 24 istek atmış olacaksınız.

hocam cok teşekkürler mantık için şöyle canlı skor botu 60 saniyede bi skorlarda değişiklik olup olmadıgı için güncelleme yapıyor 60 saniyede 1 veri almam gerekiyor yani nasil yapmalıyım sizce

12-10-2023, 23:54:23

#8

fuatboluk

selcukcbk adlı üyeden alıntı: mesajı görüntüle

hocam cok teşekkürler mantık için şöyle canlı skor botu 60 saniyede bi skorlarda değişiklik olup olmadıgı için güncelleme yapıyor 60 saniyede 1 veri almam gerekiyor yani nasil yapmalıyım sizce

60 saniyede yani 1 dk da bir istek atılmasını garantilemelisiniz. doğrudan fonksiyonu iframe ile sayfaya bağlarsanız anlık 5 bin kişi sayfayı açsa 5 bin istek gider ve ip adresiniz limite takıldığından hiçbirşey gösteremessiniz. Yapmanız gereken isteği arkaplanda 1 dk da bir atıp geçici bir txt veya json dosyasına kaydetmek. ardından o dk içerisinde siteyi 10 bin kişide görüntülemek istese o json dosyasından verileri çekerek göstermek. bunu yaparsanız son dk içerisinde veri alamassanız en son kaydedilen verileri gösterme şansınız var yani hiç boş geçmessiniz. mantık bu şekilde.