• 12-12-2024, 17:41:48
    #1
    Selamlar,
    Sunucumda nginx worker process çok fazla çalışıyor.
    2 adet sunucu var elimde aşağıdaki görselde 12-13 nginix çalışıyor ve cpu'yu aşırı tüketiyor.
    Sunucu sadece SQL 'e açık, yani sql sunucusu olarak kullanıyorum,
    Haricinde ngnix workerların çalıştığı sunucu 'yu 301 için kullanıyorum.
    Yani boştaki domainleri bu sunucu üzerinden 301liyorum fakat bu kadar yüke binmesi normal mi ?
    Aşırı bir tüketim söz konusu.
    Kontrol ettiğimdede o kadar bir istek yok.





    Aşağıdaki görselde soldaki yüke binen sağdaki 4 cpu luk bir sunucu
    Sağdaki sunucudada işlemler çalışıyor orda neden nginix cpu tüketmiyor ? mantıksız geliyor bana.


    Son 30 gün raporu
  • 12-12-2024, 17:49:43
    #2
    @OmerAti; optimasyon uzamanı isterseniz ulaşın. sorunu çözebilir.
  • 12-12-2024, 17:55:12
    #3
    301 i rewrite ile mi yapıyorsunuz yoksa PHP ile mi?
  • 12-12-2024, 17:57:21
    #4
    webtasarimofisi adlı üyeden alıntı: mesajı görüntüle
    @OmerAti; optimasyon uzamanı isterseniz ulaşın. sorunu çözebilir.
    cislek34 adlı üyeden alıntı: mesajı görüntüle
    301 i rewrite ile mi yapıyorsunuz yoksa PHP ile mi?
    301'i php ile yapıyorum.
    Daha önce böyle bir yük yoktu sunucuda 4-5 aydır normalde 2 process açıyordu sonra 5-6 ya çıktı şuan 12 process her biri %20-25 cpu tüketiyor.
    service httpd stop verince kesiyor.
    engintron kurulu şuan sunucuda engintron üzerinden yayın yapıyor.
    Botların hepsini ngnix ile engellemiştim oysa

    if ($http_user_agent ~* "Amazonbot" ) {
    return 404;
    }

    if ($http_user_agent ~* "SemrushBot" ) {
    return 444;
    }

    if ($http_user_agent ~* "semrush" ) {
    return 444;
    }

    if ($http_user_agent ~* "PetalBot" ) {
    return 444;
    }

    if ($http_user_agent ~* "DataForSeoBot" ) {
    return 444;
    }

    if ($http_user_agent ~* "MJ12bot" ) {
    return 444;
    }

    if ($http_user_agent ~* "DotBot" ) {
    return 444;
    }

    if ($http_user_agent ~* "AhrefsBot" ) {
    return 444;
    }

    if ($http_user_agent ~* "AHC" ) {
    return 444;
    }

    if ($http_user_agent ~* "majesticsEO" ) {
    return 444;
    }

    if ($http_user_agent ~* "bing" ) {
    return 444;
    }

    if ($http_user_agent ~* "bingbot" ) {
    return 444;
    }

    if ($http_user_agent ~* "Bytespider" ) {
    return 444;
    }

    if ($http_user_agent ~* "sfFeedReader" ) {
    return 444;
    }
  • 12-12-2024, 17:59:56
    #5
    WAF tarafına biraz daha ağırlık vermenizi öneririm.

    Eğer CF kullanımı yapıyorsanız çoğu isteği sunucuya gelmeden engellemeniz daha iyi olacaktır.
  • 12-12-2024, 18:12:31
    #6
    Bence başka bir şey var Benim serverlar %10nun üzerine çıkmıyor tabi seninkinden büyük server ama projelerde php değil Django o kadar site var tüm botlar geliyor sorunsuz ve çok Şükür herhangi bir sorun yok
  • 12-12-2024, 18:36:22
    #7
    cislek34 adlı üyeden alıntı: mesajı görüntüle
    WAF tarafına biraz daha ağırlık vermenizi öneririm.

    Eğer CF kullanımı yapıyorsanız çoğu isteği sunucuya gelmeden engellemeniz daha iyi olacaktır.
    Hetznerden genelde ddos ile ilgili mail geliyor ama baktığımdada portmapper diyor portmapperda kapalı
    Sunucu tarafına gelen istek görünmüyor genelde botlar dolaşıyor sitelerde ziyaretçi yok hepsi google + yandex + semrush gibi botlar


    Melihhh adlı üyeden alıntı: mesajı görüntüle
    Bence başka bir şey var Benim serverlar %10nun üzerine çıkmıyor tabi seninkinden büyük server ama projelerde php değil Django o kadar site var tüm botlar geliyor sorunsuz ve çok Şükür herhangi bir sorun yok
    Botları cf'den engellemem gerekiyor ama yaklaşık 1000 tane domain var çoğunun cf erişimi yok toplu olarak işlem yapmam lazım sanırım.


    Normal şartlardada dakikada 1k - 1.5k google bot dolaşırdı ama bu kadar ngnix işlem yükü binmezdi

    Sunucuda yüke binicek bir dosyada yok


  • 12-12-2024, 18:50:34
    #8
    Loglarda tespit edilen ipler belirli asnlerdendir. bu sunucu sadece mysql sunucusu ise onlara yönelik bir engelleme kuralı oluşturabilirsiniz cPanel sunucusu üzerinden. Nginx de sadece basit conf eklemelerine bakar.
  • 12-12-2024, 19:07:34
    #9
    Slash adlı üyeden alıntı: mesajı görüntüle
    .
    Tamam senin yaptığın olayı anladım Ben 301leri çaktın tek domaine oda kasıyor haliyle tamam senle daha önce de bu konuda konuşmuştuk hatırladım sen dakikada 1.5K request geliyor ise biraz sunucuyu yükselt Bende o dediğini yapmıştım o google botlarının geliş hızını direk terminalden kontrol etmiştim cayır cayır geliyor o yüzden CPU kaldırmıyor olabilir hepsine cevap vermeye CF dan yaparsan bir çok botu engelleme ihrimali var bu sefer google da yapmak istediğinin pek anlamı kalmaya bilir o yüzden biraz cpu ve ram i yülseltip dene Bence