Saltar al contenido

Presupuesto de memoria de la caché KV

Fácil#capacity-math#memory-estimate~10 min

La misión

Problema

Mientras un transformer genera texto, guarda un vector de clave y un vector de valor por cada token anterior, en cada capa y en cada cabeza clave-valor, para que cada token nuevo no tenga que recalcularlos. Dados el número de capas, de cabezas clave-valor, el tamaño de cada cabeza, el número de tokens en caché, el tamaño del lote (batch) y los bytes por número guardado, devuelve la memoria que necesita la caché en MiB (2^20 bytes). La capacidad de servicio se planifica exactamente a partir de este número, ya que crece con cada token de cada conversación del lote.

Ejemplos

Input:  layers = 32, kv_heads = 32, head_dim = 128, tokens = 4096, batch = 1, 2 bytes per number
Output: 2048.0
Por qué: 512 KiB por token, multiplicado por 4096 tokens
Input:  layers = 32, kv_heads = 8, head_dim = 128, tokens = 4096, batch = 1, 2 bytes per number
Output: 512.0
Por qué: compartir cada cabeza clave-valor entre 4 cabezas de consulta divide la caché por 4
Input:  layers = 32, kv_heads = 8, head_dim = 128, tokens = 0
Output: 0.0
Por qué: caso límite: un prompt vacío todavía no tiene nada en caché

Pistas

0 / 3

Tiempo objetivo
O(1)
Espacio objetivo
O(1)

¿Lo que te frena es la idea y no el código? La caché KV lo explica.

Python 3Ctrl+Enter ejecuta