Int8 quantization gidiş dönüşü
Görev tanımı
Problem
Quantization (nicemleme), model ağırlıklarını küçük tam sayılar artı tek bir float ölçek olarak saklar. Bir ağırlık listesi için simetrik int8 quantization uygula: ölçek, en büyük mutlak ağırlığın 127'ye bölümüdür; her ağırlık -127 ile 127 aralığına sıkıştırılmış round(w / scale) olur; geri çevirme de ölçekle tekrar çarpar. Tam sayı kodlarını, 6 ondalığa yuvarlanmış ölçeği ve bir ağırlıkla geri çevrilmiş değeri arasındaki, yine 6 ondalığa yuvarlanmış en büyük mutlak hatayı döndür. Her ağırlık 0 ise 1,0 ölçeğini kullan.
Örnekler
Input: [0.4, -2.54, 0.013, 1.0]
Output: ([20, -127, 1, 50], 0.02, 0.007)
Neden: ölçek 2,54 / 127 = 0,02; yani 0,013 bir adıma düşer ve 0,02 olarak geri gelir
Input: [0.01, 0.02, -0.03, 10.0]
Output: ([0, 0, 0, 127], 0.07874, 0.03)
Neden: tek bir aykırı değer ölçeği esnetir, her küçük ağırlık 0'a çöker
Input: [0.0, 0.0]
Output: ([0, 0], 1.0, 0.0)
Neden: edge case: tamamı sıfır olan listede bölünecek en büyük ağırlık yok, 1,0 ölçeği sıfıra bölmeyi önler
İpuçları
0 / 3
Simetrik quantization en büyük mutlak ağırlığı 127'ye, 0'ı 0'a eşler; yani tek bir sayı, ölçek, bütün eşlemeyi tarif eder.
scale = max(abs(w)) / 127 hesapla, sonra code = round(w / scale) ve -127..127 aralığına sıkıştır. Bölmeden önce tamamı sıfır durumunu koru.
code × scale ile geri çevir ve orijinal ağırlıkla karşılaştır. Herhangi bir ağırlığın hatası en fazla yarım adımdır, yani scale / 2.
- Hedef zaman
- O(n)
- Hedef alan
- O(n)
Çözüm
Int8 quantization hassasiyeti bellekle takas eder: her ağırlık 4 byte'tan 1 byte'a küçülür, tek ek depolama da tensör başına bir float ölçektir. Ölçek en büyük mutlak ağırlığı 127'ye eşler; böylece diğer her ağırlık bu büyüklükteki adımlarla ifade edilir ve yuvarlama onu en fazla yarım adım kaydırabilir. İkinci örnek tensör başına tek ölçeğin zayıflığını gösterir: 10,0'lık tek bir aykırı değer adımı yaklaşık 0,079 yapar ve her küçük ağırlık 0'a yuvarlanır; pratik şemaların kanal ya da blok başına ölçek kullanmasının ya da aykırı değerleri daha yüksek hassasiyette tutmasının sebebi bu. Sıkıştırma, aralığın hemen dışına düşen kodlara karşı korur. Zaman O(n), kodlar için alan O(n).
def quantize_int8(weights):
peak = max(abs(w) for w in weights)
scale = peak / 127 if peak else 1.0 # largest weight maps to 127
codes = [max(-127, min(127, round(w / scale))) for w in weights]
back = [c * scale for c in codes] # dequantize
err = max(abs(w - b) for w, b in zip(weights, back))
return codes, round(scale, 6), round(err, 6)
print(quantize_int8([0.4, -2.54, 0.013, 1.0])) # -> ([20, -127, 1, 50], 0.02, 0.007)
print(quantize_int8([0.01, 0.02, -0.03, 10.0])) # -> ([0, 0, 0, 127], 0.07874, 0.03)
print(quantize_int8([0.0, 0.0])) # -> ([0, 0], 1.0, 0.0)Kodda değil de fikirde mi takıldın? Quantization bunu anlatıyor.