KV cache bellek bütçesi
Görev tanımı
Problem
Bir transformer metin üretirken, her yeni token onları yeniden hesaplamak zorunda kalmasın diye önceki her token için her katmanda ve her key-value head'inde bir key vektörü ve bir value vektörü tutar. Katman sayısı, key-value head sayısı, her head'in boyutu, cache'teki (önbellek) token sayısı, batch boyutu ve saklanan sayı başına byte verildiğinde, cache'in ihtiyaç duyduğu belleği MiB (2^20 byte) cinsinden döndür. Servis kapasitesi tam olarak bu sayıdan planlanır, çünkü batch'teki her sohbetin her token'ıyla büyür.
Örnekler
Input: layers = 32, kv_heads = 32, head_dim = 128, tokens = 4096, batch = 1, 2 bytes per number
Output: 2048.0
Neden: token başına 512 KiB, çarpı 4.096 token
Input: layers = 32, kv_heads = 8, head_dim = 128, tokens = 4096, batch = 1, 2 bytes per number
Output: 512.0
Neden: her key-value head'ini 4 query head'iyle paylaşmak cache'i 4'e böler
Input: layers = 32, kv_heads = 8, head_dim = 128, tokens = 0
Output: 0.0
Neden: edge case: boş bir prompt'ta henüz cache'lenmiş bir şey yok
İpuçları
0 / 3
Önce tek bir token'ın maliyetini hesapla, sonra ölçekle. Cache'teki her şey token sayısıyla ve batch boyutuyla orantılı.
Tek bir token için her katman key için kv_heads × head_dim sayı, value için de aynısını saklar.
Byte = 2 × layers × kv_heads × head_dim × bytes_per_value × tokens × batch. MiB için 2 ** 20'ye böl.
- Hedef zaman
- O(1)
- Hedef alan
- O(1)
Çözüm
Cache'teki her token, her katman ve her key-value head'i için her biri head_dim sayıdan oluşan bir key ve bir value'ya mal olur; yani token başına maliyet 2 × layers × kv_heads × head_dim × bytes'tır, bütün cache de bunun token sayısı ve batch ile çarpımıdır. Formül bilinen kaldıraçları görünür kılar: grouped-query attention'daki (dikkat mekanizması) gibi daha az key-value head'i onu orantılı olarak azaltır, 8 bit gibi daha küçük bir sayı formatı onu bir kez daha yarıya indirir, daha büyük bir batch ya da daha uzun bir context onu katlar. Uzun context'lerin hesaplamadan önce bellekle sınırlanmasının sebebi bu. Zaman ve alan O(1).
def kv_cache_mib(layers, kv_heads, head_dim, tokens, batch=1, bytes_per_value=2):
per_token = 2 * layers * kv_heads * head_dim * bytes_per_value # one key and one value
return per_token * tokens * batch / 2 ** 20
print(kv_cache_mib(32, 32, 128, 4096)) # -> 2048.0
print(kv_cache_mib(32, 8, 128, 4096)) # -> 512.0
print(kv_cache_mib(32, 8, 128, 0)) # -> 0.0
print(kv_cache_mib(32, 8, 128, 4096, batch=16, bytes_per_value=1)) # -> 4096.0Kodda değil de fikirde mi takıldın? KV cache bunu anlatıyor.