Pular para o conteúdo

Projetar um rate limiter

Aula 2 de 20 · 6 min

Projetar um rate limiter

Passo 1 de 11

Dez mil requisições por segundo, três portas e um orçamento por chave de API.

A ideia

Limite o quanto cada chamador pode gastar. Suponha 10.000 requisições por segundo em três nós de gateway, 100.000 chaves de API e um orçamento de 100 requisições por minuto para cada uma. Dizer o nome do algoritmo é a metade fácil.

Exemplo do mundo real

A pulseira de um festival, escaneada em cada portão. Se cada portão tivesse sua própria prancheta, você entraria três vezes; por isso os portões leem uma única lista compartilhada — e agora a fila depende de essa lista estar no ar.

O trade-off

Contadores por nó dispensam o salto de rede e deixam um chamador gastar N vezes o limite em N nós. Um armazenamento compartilhado é exato, mas acrescenta uma ida e volta a cada requisição, além de uma dependência que você precisa planejar: decida agora se um rate limiter inacessível falha aberto e atende tudo, ou falha fechado e rejeita todo mundo.

Sua vez

Coloque os passos em ordem.

  1. Se o armazenamento de contadores estiver inacessível, falhe aberto e atenda a requisição
  2. Descubra a chave de identidade do chamador a partir da chave de API ou do token
  3. Rejeite com 429 e Retry-After quando o orçamento acabar
  4. Incremente atomicamente o contador dessa chave no armazenamento compartilhado

Mini quiz

1 / 3

Três nós de gateway, cada um com seu próprio contador, significam que um chamador pode: