İçeriğe geç

KV cache bellek bütçesi

Kolay#capacity-math#memory-estimate~10 dk

Görev tanımı

Problem

Bir transformer metin üretirken, her yeni token onları yeniden hesaplamak zorunda kalmasın diye önceki her token için her katmanda ve her key-value head'inde bir key vektörü ve bir value vektörü tutar. Katman sayısı, key-value head sayısı, her head'in boyutu, cache'teki (önbellek) token sayısı, batch boyutu ve saklanan sayı başına byte verildiğinde, cache'in ihtiyaç duyduğu belleği MiB (2^20 byte) cinsinden döndür. Servis kapasitesi tam olarak bu sayıdan planlanır, çünkü batch'teki her sohbetin her token'ıyla büyür.

Örnekler

Input:  layers = 32, kv_heads = 32, head_dim = 128, tokens = 4096, batch = 1, 2 bytes per number
Output: 2048.0
Neden: token başına 512 KiB, çarpı 4.096 token
Input:  layers = 32, kv_heads = 8, head_dim = 128, tokens = 4096, batch = 1, 2 bytes per number
Output: 512.0
Neden: her key-value head'ini 4 query head'iyle paylaşmak cache'i 4'e böler
Input:  layers = 32, kv_heads = 8, head_dim = 128, tokens = 0
Output: 0.0
Neden: edge case: boş bir prompt'ta henüz cache'lenmiş bir şey yok

İpuçları

0 / 3

Hedef zaman
O(1)
Hedef alan
O(1)

Kodda değil de fikirde mi takıldın? KV cache bunu anlatıyor.

Python 3Ctrl+Enter çalıştırır