Projetar um rate limiter
Passo 1 de 11
Dez mil requisições por segundo, três portas e um orçamento por chave de API.
A ideia
Limite o quanto cada chamador pode gastar. Suponha 10.000 requisições por segundo em três nós de gateway, 100.000 chaves de API e um orçamento de 100 requisições por minuto para cada uma. Dizer o nome do algoritmo é a metade fácil.
Exemplo do mundo real
A pulseira de um festival, escaneada em cada portão. Se cada portão tivesse sua própria prancheta, você entraria três vezes; por isso os portões leem uma única lista compartilhada — e agora a fila depende de essa lista estar no ar.
O trade-off
Contadores por nó dispensam o salto de rede e deixam um chamador gastar N vezes o limite em N nós. Um armazenamento compartilhado é exato, mas acrescenta uma ida e volta a cada requisição, além de uma dependência que você precisa planejar: decida agora se um rate limiter inacessível falha aberto e atende tudo, ou falha fechado e rejeita todo mundo.
Sua vez
Coloque os passos em ordem.
- Se o armazenamento de contadores estiver inacessível, falhe aberto e atenda a requisição
- Descubra a chave de identidade do chamador a partir da chave de API ou do token
- Rejeite com 429 e Retry-After quando o orçamento acabar
- Incremente atomicamente o contador dessa chave no armazenamento compartilhado
Mini quiz
1 / 3