Pular para o conteúdo

Orçamento de memória do cache KV

Fácil#capacity-math#memory-estimate~10 min

A missão

Problema

Enquanto um transformer gera texto, ele guarda um vetor de chave e um vetor de valor para cada token anterior, em cada camada e em cada head de chave-valor, para que cada novo token não precise recalculá-los. Dados o número de camadas, o número de heads de chave-valor, o tamanho de cada head, o número de tokens em cache, o batch size e os bytes por número armazenado, retorne a memória de que o cache precisa em MiB (2^20 bytes). A capacidade de serviço é planejada exatamente a partir desse número, já que ele cresce a cada token de cada conversa do batch.

Exemplos

Input:  layers = 32, kv_heads = 32, head_dim = 128, tokens = 4096, batch = 1, 2 bytes per number
Output: 2048.0
Por quê: 512 KiB por token, vezes 4.096 tokens
Input:  layers = 32, kv_heads = 8, head_dim = 128, tokens = 4096, batch = 1, 2 bytes per number
Output: 512.0
Por quê: compartilhar cada head de chave-valor entre 4 heads de consulta divide o cache por 4
Input:  layers = 32, kv_heads = 8, head_dim = 128, tokens = 0
Output: 0.0
Por quê: edge case: um prompt vazio ainda não tem nada em cache

Dicas

0 / 3

Tempo-alvo
O(1)
Espaço-alvo
O(1)

Travou na ideia, e não no código? O cache KV explica isso.

Python 3Ctrl+Enter executa