İçeriğe geç

Rate limiter tasarla

Ders 2 / 20 · 6 dk

Rate limiter tasarla

Adım 1/11

Saniyede on bin istek, üç kapı ve API anahtarı başına tek bir bütçe.

Fikir

Tek bir istemcinin ne kadar harcayabileceğine sınır koy. Üç gateway sunucusuna yayılan saniyede 10.000 istek, 100.000 API anahtarı ve her anahtar için dakikada 100 isteklik bir bütçe varsay. Algoritmanın adını söylemek işin kolay yarısı.

Gerçek hayattan örnek

Her kapıda okutulan bir festival bilekliği. Her kapı kendi listesini tutsaydı üç kez girebilirdin; bu yüzden kapılar tek bir ortak listeden okur ve artık kapıdaki kuyruk, o listenin ayakta olmasına bağlıdır.

Trade-off

Sunucu başına sayaçlar ağ adımı gerektirmez ama bir istemcinin N sunucuda limitin N katını harcamasına izin verir. Tek bir ortak depo kesindir ama her isteğe bir gidiş-dönüş ekler, üstüne planlaman gereken bir bağımlılık getirir: erişilemeyen bir rate limiter'ın (hız sınırlayıcı) fail open olup her şeyi mi geçireceğine, yoksa fail closed olup herkesi mi reddedeceğine şimdiden karar ver.

Sıra sende

Adımları doğru sıraya koy.

  1. Sayaç deposuna ulaşılamıyorsa fail open ol ve isteği karşıla
  2. İstemcinin kimlik anahtarını API anahtarından ya da token'ından (belirteç) çıkar
  3. Bütçe bitince 429 ve Retry-After ile reddet
  4. O anahtarın sayacını ortak depoda atomik olarak artır

Mini quiz

1 / 3

Üç gateway sunucusunun her biri kendi sayacını tutarsa tek bir istemci: