Kesilmeyen Sistem? (Optimizasyoncu Arkadaşlar Lütfen İlgilensin)

Siteyi görmedim bilgim yok. Sitenin tepeden tırnağa elden geçesi gerekebilir. Madem bir video sitesi önerebileceklerim,

komple tema düzenlemesi,
html 5 validation,
wp super cache,
nginx,
xcache,
cloudflare cache,
gtmetrix kontrolu,

Sorun %1.000.000 botlardan kaynaklanıyor. Botlar cpunun canını okuyor. Ne ölçüde kullanım yapıldığına bakılmalı ve cronjob lar gözden geçirilmeli.

Komple çözüm istersen site adresini pm at bakalım çözüm üretiriz. Ancak maliyetli olacaktır.

Bu sistemden yararlanmayı denediniz mi? Çok kişinin derdine deva oldu.

Hocam sitede wordpress için cache satan bir arkadaş vardı. Onu satın alıp kullanabilirsiniz. Boşa da masraf etmemiş olursunuz. Ayrıca cloudflare ilede de destekleyebilirsiniz. En azından site açılmasa bile sunucuda ki önbellek ziyaretçiye gösterilir. Tabii ücretli versiyon almak şart. Birde sanırım video sitesi konu olan. Acaba hangi eklentiyi kullanıyorsunuz paylaşabilir misiniz?

XOOM 2 ME cihazımdan Tapatalk kullanılarak gönderildi

--R10.NET; Flood Engellendi -->-> Yeni yazılan mesaj 19:36:55 -->-> Daha önceki mesaj 19:34:37 --

Birde hocam bütçeniz fazlaysa yeniden bot yazdırmak daha mantıklı. Yazabilecek kapasitede forumda çok arkadaş var.

XOOM 2 ME cihazımdan Tapatalk kullanılarak gönderildi

Benzeri bir sistemi yaptırdık evet çözüm olmadı. Ana sayfada rastgele videolar tarzında bir bölüm olduğundan ana sayfaya yaptıramıyoruz bu tür sistemlerden çünkü rastgele çekmesi gerekiyor.

Eklentiden kastınız nedir?

Bende Script kaynaklı olduğunun düşüncesindeyim. arkadaşın demek istediği eklenti wp-super cache veya wp total cache eklentilerinden birisi,bir dönem redstation da olan sunucumda aynı sorunu yaşadım 2 k online de ara ara kesintiler oluyordu düşük online de random 5 saniye ile 10 dk arasi kesintiler oluyordu.wordpress in istitastik tutan eklentisini kurmuştum (google gelen botlar kıllat tüyleri sayan) oda veritabanını şişirdiğini görünce kaldırdım.düzelmişti sizdede ayni olurmu bilemem. kullandığım makine sizinkiyle aynı performansa sahip bir makineydi..


sunucuya bir site daha açın html bişeyler atin siteniz gittiğinde bu yeni domain den kontrol edin yeni site sorunsuz açılıyorsa,scriptinizle alakalı bir sorun olduğu daha net anlaşılabilir,bu konulara pek hakim değilim Arif hocam daha iyi bilir.

Cloudflare anlık hakikaten 30 bin tekil hit geliyorsa etkili olur.

Sorun scriptte.

İki ay önce TR nin büyük bir firmasının sunucu yönetimini aldım, aylık olarak çalışıyorum...

SH de çalışıyor, 3 sunucu vardı= mysql + web + web ve bir tane netscaler ile loadblancing yapıyorlardı.

günlük tekil hiti 6 sitenin 5 milyon üzerindeydi ve sunucunun load seviyeleri %90 ları geçiyordu. yukarıdaki sununun çift cpulu 64 gb ramli ve 4 tane 15k rpm/d raid5 disklerde sistem kasılıyordu.

Sorun tamamen wordpressdeydi.

Sitenin biri tek başına 3 milyonu zorluyordu günlük. İlk o siteyi aldık ve 15 gün denedik bizim sanal sunucuda(16 GB ram, 8 Core cpu. Ana hostlar 2 X Dell r720, 128 GB ram ve her hostta 2 x e5-2650 cpu var ve vmware esx 5.5 ile vcenter sistemi failover yapıda tutuyor) + emc storage 24 x 15K 300 gb lık diskler. raid 6 var üzerinde.

Bu hostlarda şuan 23 tane sanal makina çalışıyor ve hepsi kurumsal. Durumu anlatıyorum ki bilin diye.

Ben ilk başta apache 2.4 mpm event worker sürümü derleyip fastcgi ile çalıştırmayı denedim. cpu ve ram kullanımı tavan yaptı. load %60 larda tek sitede.

litespeed aldık enterprise lisanslı, %45 lere düştü. Bunu yapılandırdım iyice ama hala yüksekti! load 8 üzerine çıkarsa demekki işletim sistemi işlemciye fazla iş yüklüyor demektir benim 8 core da.

Bunu da salladım nginx + php-fpm kullandım. gereksiz moduller hepsinde kapalıydı bunda da kapalı oldu. Hepsi derlenerek kuruldu.

load %20 lere düştü. Ama sayfalar açılırken 10 sn kadar bekletiyordu bu hoşuma gitmedi.

varnish i kurup configleri yapılandırıp nginx i oynayıp tekrar denedim ve load direkt 5 seviyesine indir.

sayfalar 1 sn gibi bir süreye geldi(varnish de browser cache vs etkinleştirmesini yaptım artı bütün statik içeriği ve sayfaları önbelleğe aldım(get istekleri! diğer istekler görmezden gelinsin diye belirttim. wp-admin i de kaldırdım)

mysql i elden geçirip percona mysql server kurdum! standart mysqlin performansı çok fazla yükte sapıtıyordu...

Perconanın kendi wizardı ile sunucu bilgilerini ve genelde okuma yoğunluk olduğu için o bilgileri verip bir config oluşturdum.

Percona karşılaştırması: http://www.percona.com/software/perc...ver/benchmarks
(Ufak açıklama: sunucuda çok fazla veri okuma yazma yükü yoksa fark görünmüyor ama oltp işlemleri yüksek ise işte o zaman percona fark atıyor.)

Percona da tamam(cpu kullanımı mysql de %40 ları geçmiyordu).

Site çok iyi durumdaydı ama wordpress i elden geçirmem gerekiyordu tek site varnish ile 5 load seviyesi yüksekti ve geri kalan 5 site geldiğinde yine yükselecekti. Wordpress in gereksiz bütün pluginlerini kaldırdım, hiç wp cache plugini yok mesela kasıyorlar... total cache falan hava civa(denedim çünkü)

wp de şimdi söylemeyeceğim baya bir kod değişikliği ile temada bir çok değişiklik yaptım. php-fpm bana bütün debug verilerini verdi, mysql de yavaş kodları verdi. Bunları bir ayda bitirdim load seviyesi 0.6 ile 1 seviyelerinde gezdi son 10 gün.

Firma ile anlaştık ve bütün siteleri taşıdım. Hepsini oynadım. Aşağıda da resimleri:

Load:


Kendi geliştirdiğim panelFreebsd 10 üzerinde çalışıyor bütün siteler ve servisler. bütün gereksiz sevisler kapalı. Kendim django+python+uwsgi ile çalışan bir panel geliştirdim. Bütün herşeyi izleyebiliyor. Site falan açıyor işte - firma kullansın kafamı ütülemesin diye)


Mysql 5.6 anlık kullanımlar:


Mysql sunucu kurulduğundan beri çekilen sorgular:
Sarıya dikkat, tamamen select sorgusu ve buna özel optimize edildi(selectler genelde innodb üzerinde ve innodb iyi optimize edilmezse sunucuyu ağlatabiliyor, bizzat yaşadım)


Buda toplam çekilmiş veri trafiği:


6 site şuanda yukarıdaki grafiklerde gördüldüğü üzere tıkır tıkır çalışıyor. Toplam hitleri sosyal medya, ve aktif seo ile şuan 12 milyona yaklaştı günlük.

İlk başta dediğim gibi sorun scriptte. Eğer başarısız olan olursa ulaş bana bir inceleyeyim sistemi. 15 dk lık loglama ile ben koddaki sorunları görür ve anlaşırsak düzenlerim.

Bende naçizane yorumumu yapayım. öncelikle windows üzerinde çalışıyorum.

windows işletim sisteminde genelde şu şekilde çalışıyor

çalıştırılan sayfa(Asp sayfası) botlardan gelen yanıtı bekliyorsa ve ona göre bir alt satıra geçiyorsa , botlardan gelen yanıt gecikirse bu süre zarfında işlemci neredeyse tüm sistem kaynaklarını kullanıyor ve bot için timeout değeri düşük bir değer verilmezse asp sayfası uzun süre yanıt beklediği için tüm sistem kaynaklarını kullanıyor ve bir altsatıra inemiyor.

Eğer sorun yoksa zaten işlem hemen gerçekleşiyor kendi bilgisayarım yada uzak bilgisayar taraflı bir bekleme yada yanıt alamama oldumu Ziyaretçi sayısı da fazlaysa sunucu üzerindeki istekler birikiyor ve sunucu belkide cevap veremez hale geliyor. bir nevi saldırı gibi bir durum.

aynı kodu derleyici de derleyip masaustu uygulama da denediğimde botlardan yanıt gelinceye kadar geçen sürede cpu tüm sistem kaynaklarını kullanıyor ve bu arada uygulama "Yanıt Vermiyor" şeklinde bekliyor ne zamanki bot işin tamamlıyor o zaman uygulama yanıt veriyor.

teşhisi doğru yapabilmek için yoğun ziyaretçi olan zamanlarda bot ların olduğu bölümü çalıştırmayıp (yapabiliyorsanız) deneyiniz. eğer sorun olmuyorsa bu bölüme yoğunlaşınız.

Birden fazla sunucu yerine birden fazla php sayfası oluşturarak botları bir şekilde izole ediniz. tabiki sistem ve kod altyapısını bilmeden yapabileceğim yorum bu kadar ve Php kodlamıyorum en azından fikir verir diye yazdım.

@Elazığlı168 bu işin piridir yaklaşık 10 yıldır bu işi yapıyor. Onun tavsiyelerine uyun bence.
Ayrıca donanımı yükseltip Cache Kartı ile sistemi desteklemek çok rahatlatacaktır.

merhaba,

wordpress bir sistem kullanıyorsanız, sunucu optimizasyonunun yanısıra aynı zamanda kodların da düzenlenmesi gerekir. hazır sistem üzerinde hazır bir cache yapısıyla bu durumu çözebileceğinizi zannetmiyorum. özel bir cache yapısı kurulması taraftarıyım.

durumun aciliyeti nedir? birkaç gün bekleme olasılığınız varsa bsd tabanlı tamamen kontrol paneli dahili tüm gereksiz servislerden arındırılmış sadece bu site için ve kernel taraflı optimize edilmiş sunucu ve servislerle güzel bir yapı sağlanabilir.

inceleyenler problem kaynağı olarak botları göstermiş. mevcut site yapısından botların ayırılabileceği ve kendilerine ait havuzları olabileceği bir yapı daha sağlıklı olur.

referans veya benim hakkımda bilgi almak istersen Coşkun'a sorabilirsin.