Presupuesto de memoria de la caché KV
La misión
Problema
Mientras un transformer genera texto, guarda un vector de clave y un vector de valor por cada token anterior, en cada capa y en cada cabeza clave-valor, para que cada token nuevo no tenga que recalcularlos. Dados el número de capas, de cabezas clave-valor, el tamaño de cada cabeza, el número de tokens en caché, el tamaño del lote (batch) y los bytes por número guardado, devuelve la memoria que necesita la caché en MiB (2^20 bytes). La capacidad de servicio se planifica exactamente a partir de este número, ya que crece con cada token de cada conversación del lote.
Ejemplos
Input: layers = 32, kv_heads = 32, head_dim = 128, tokens = 4096, batch = 1, 2 bytes per number
Output: 2048.0
Por qué: 512 KiB por token, multiplicado por 4096 tokens
Input: layers = 32, kv_heads = 8, head_dim = 128, tokens = 4096, batch = 1, 2 bytes per number
Output: 512.0
Por qué: compartir cada cabeza clave-valor entre 4 cabezas de consulta divide la caché por 4
Input: layers = 32, kv_heads = 8, head_dim = 128, tokens = 0
Output: 0.0
Por qué: caso límite: un prompt vacío todavía no tiene nada en caché
Pistas
0 / 3
Calcula primero el costo de un solo token y luego escala. Todo lo que hay en la caché es proporcional al número de tokens y al tamaño del lote.
Para un token, cada capa guarda kv_heads × head_dim números para la clave y otros tantos para el valor.
Bytes = 2 × layers × kv_heads × head_dim × bytes_per_value × tokens × batch. Divide por 2 ** 20 para obtener MiB.
- Tiempo objetivo
- O(1)
- Espacio objetivo
- O(1)
Solución
Cada token en caché cuesta una clave y un valor por capa y por cabeza clave-valor, cada uno de head_dim números, así que el costo por token es 2 × layers × kv_heads × head_dim × bytes, y la caché completa es eso por los tokens y por el lote. La fórmula deja a la vista las palancas habituales: menos cabezas clave-valor, como en grouped-query attention, la reducen en proporción; un formato numérico más pequeño, como 8 bits, la vuelve a dividir a la mitad; y un lote más grande o un contexto más largo la multiplican. Por eso los contextos largos se topan con el límite de memoria antes que con el de cómputo. El tiempo y el espacio son O(1).
def kv_cache_mib(layers, kv_heads, head_dim, tokens, batch=1, bytes_per_value=2):
per_token = 2 * layers * kv_heads * head_dim * bytes_per_value # one key and one value
return per_token * tokens * batch / 2 ** 20
print(kv_cache_mib(32, 32, 128, 4096)) # -> 2048.0
print(kv_cache_mib(32, 8, 128, 4096)) # -> 512.0
print(kv_cache_mib(32, 8, 128, 0)) # -> 0.0
print(kv_cache_mib(32, 8, 128, 4096, batch=16, bytes_per_value=1)) # -> 4096.0¿Lo que te frena es la idea y no el código? La caché KV lo explica.