Php bot hakkında

Merhaba arkadaşlar,
Bot yazdım kendim için boş zamanımda. Ama şöyle bir sorunum var. Atıyorum hedef sitede 10K içerik var ben bunların 5K sını çektikten sonra bot kendiliğinden duruyor ve çok yavaş içeriği çekip sql e giriyor. Bu sorunu nasıl çözebilirim? Hem hızlı hemde tüm verileri çekene kadar durmamasını nasıl sağlarım?

set_time_limit(0); işine yarayabilir

Bunu kullanmıştım zaten ama işe yaramadı hocam.

çektiğin kadar veriyi txt e falan kaydet sonra örneğin 10k nın 2 k sı bittiğimi txt okusun ve
?basla=2000 gibi bir yönlendirme yapsın.

php ayarlarındandır sorun.


php.ini yi aç :

max_execution_time = 1000
saniye cinsinden.

-----------------------
php fonksiyonu olan SAFE MOD OFF olmalı
set_time_limit(0);
max_execution_time(0);

SQL hakkında ise. her bir alınan içeriği SQL e kaydetme hemen
icerik.sql içine sorgunu yazdır. bütün içerikler alınınca tek seferde gir dosyadan okutup gir derim böylece kesintilerin daha az olur

eğer file_get_contents kullanıyorsan yerine cURL kullan derim.

Başka ne yapabilirim arkadaşlar?

parcalara bölerek parca parca cektirin. bunun içiin ajax yada paremetrik sayfa refresh kullanin

Bahsettiğiniz konu hakkında bilgim yok daha detayları açıklayabilir misiniz?

benzer sorunları yaşayanlar için;

php.ini > max_execution_time limitini arttırın (saniye cinsinden)

içeriği curl ile çekin, daha hızlı olur.

dosyanın başına set_time_limit(0); yazın, limitsiz olur.

son olarak en önemlisi, mysql hatası alırsanız da dosya çalışmayı kesecektir. bunun için mysqle verileri yazdırırken her bir veri için sleep(1) fonksiyonu ile 1 saniye zaman girin, her sayfa için ise (bağlanılan sayfa) sleep(10) fonksiyonu ile 10 saniye zaman girin, böylece tüm veriler çekilecektir..