Saniyede 15k APİ Çağrısı Almaya Başladınız,Ne Yapardınız?

Selamlar,

Daha önceki günlerde "Düzenli olarak dakikalık 100k istek api çağrısı alıyorsunuz ne yaparsınız?" olarak sormuştum yani burada sizin işiniz dakikalık 100k isteği işlemekti.
Gelgelelim,bugüne. Bugün ise,dakikalık normalde 5k istek alıyorken,saniyelik 15k istek almaya başladınız(saldırı başladı) ve burası APİ sayfanız. Yani Challenge açalım diyemezsiniz.

Peki,sizlere soralım. Dakikalık normalde 5k istek alan birisiniz ve bağlı olduğunuz yer saniyelik 15k api çağrısı almaya başladı.
Yapacağınız eylemler ne olurdu?
Nasıl bir plan ile ilerlerdiniz?

15 bin istek/saniye tek başına korkulacak bir rakam değil; önemli olan çağrının ne yaptığı. Basit bir okuma isteğiyse CDN, Redis cache ve birkaç yatay ölçeklenen API instance ile karşılanır. Her istek ağır sorgu çalıştırıyor veya üçüncü taraf servise gidiyorsa önce o yapı değiştirilir.

Ben ilk anda IP/API anahtarı bazlı rate limit koyar, istekleri load balancer arkasındaki stateless sunuculara dağıtırdım. Anlık yükü eşitlemek için gerekiyorsa kuyruğa alırdım; fakat kullanıcıya hemen cevap verilmesi gereken çağrıları kuyruğa sokmak çözüm değildir. Prometheus/Grafana benzeri bir izleme üzerinden p95-p99 cevap süresi, hata oranı, CPU ve veritabanı bağlantı sayısı takip edilmeden körlemesine sunucu eklenmez.

Asıl darboğaz büyük ihtimalle veritabanı olur. İndeksleri ve yavaş sorguları düzeltir, yoğun okunan veriyi cache’e taşır, connection pool sınırlarını belirlerdim. Çağrılar yetkisiz veya saldırı kaynaklıysa uygulamaya ulaşmadan WAF/CDN katmanında kesilmesi gerekir; 15 bin isteği PHP, Node.js ya da hangi uygulama çalışıyorsa onun içinde engellemeye uğraşmak kaynak israfıdır.

Hocam yapay zeka ne yapar diye sormamış arkadaş 😄

Sistem kaldırıyorsa sorun yok mutlu olurum hatta çünkü ne kadar req o kadar para. Sistem kaldırmıyorsa mevcut sistemi optimize etmeye çalışırım. Load balancer veya kod bazında optimizasyondan bahsediyorum. Bunlar mümkün değilse ve reqler hataya düşüyorsa o zaman sistemi daha düzgün bir şekilde sıfırdan yazardım. Bu tarz durumları öngördüğüm için tüm projeleri php typescript python gibi teknolojilerle değil Rust ile geliştiriyorum. Bu yüzden saniyede 15K değil 100K bile gelse sorun olmaz. Gerçi tcp-ip'nin kuralları gereği bir ip'ye en fazla 20K simultanously connection açılabilir. Bu yüzden anlık 100K için 5 ip adresi gerekir ki bunu sunucuya kurmak hiç sorun değil. Böyle projesi olanlar bana ulaşabilir.

Edit: tcp-ip kuralları gereği anlık 20K connection açılabilir bilgisini geçen yıllarda biryerde okudum öyle aklımda kalmış. Kesin bir durum olmayabilir, tek ip'den 100binlerce req alınabiliyor olabilir bilemiyorum. Bu konuda kesin bilgisi olan arkadaşlar varsa bizi aydınlatabilirse seviniriz.

Edit 2: Bu konu valid 15K req olduğu düşünülerek yazıldı. Yani saldırı vs olmuyorsa, tüm reqler gerçek userlardan geliyorsa ve validse o durum için. Saldırı geliyorsa o zaman ip bazlı koruma, cloudflare'ın I'M under attack modu gibi şeyler yapılabilir ama bu api için önermem. En garantili çözüm ip bazlı engelleme. Müşterilere ulaşırsınız ip bazlı engelleme koyduk herkes ipsini söylesin dersiniz olur biter.

Edit 3: Detaylı araştırdım ve req karşılarken teoride bir limit yok çünkü tüm reqler aynı porta geliyor. Req gönderirken gönderen tarafta da bir port açılması gerektiği için max 65535 adet req açılabilir teoride. Ama bunun da genelde 30000 portundan sonrası kullanılıyormuş browserlar ve istemciler tarafından. Yani req gönderirken 35K civarında eşzamanlı tcp bağlantısı açılabilir. Bunların da dışında en önemli kısıtlayıcılar modem, internet sağlayıcısı ve linuxun ulimit ayarı olduğu için ortalama 20K bağlantı diye aklımda kalmış galiba. Bu bilgiler kimin ne işine yarar bilemem tabi

İlk yapacağım iş eğer sadece ben kullanıyorsam veya belirli kişiler kullanıyorsa sadece onlara erişim izni verip diğer tüm ip leri engellerdim. Eğer böyle bir durum yoksa yapacağım diğer iş ise saldırıların yapıldığı ülkeleri veya sağlayıcıları engellemek olurdu.

Hocam yapay zekayla ne alakası var 10+ yıldır sektördeyiz. Telefonla ararsanızda aynı cevapları veririm problem değil

Selamlar,
API istekleri anonim olarak gönderiliyorsa kaçınılmaz bir durum. Anonim kullanıcılara düşük haklar sağlayın dakikada 1 istek gibi.

Giriş yapanlara daha yüksek kotalar verin hatta ücretsiz ise belki ileride ücret ödeyenler için daha yüksek kotalar da sağlayabilirsiniz.

Bilginiz vardır tabiki ona bişey demiyorum fakat bu yazının bana yapay zeka olmadıgını söylemeyin lütfen