Temperature ile softmax
Görev tanımı
Problem
Bir dil modeli, aday her sonraki token'a logit denen ham bir sayıyla puan verir; örnekleme de bu puanları softmax ile olasılığa çevirir: her logit'i temperature (sıcaklık parametresi) T'ye böl, üssünü al ve sonuçların toplamı 1 olacak şekilde normalize et. Olasılıkları 3 ondalığa yuvarlanmış olarak döndüren softmax(logits, temperature) fonksiyonunu yaz. 1000 gibi büyük logit'lerde taşma olmamalı; temperature 0 ise greedy (açgözlü) decoding demektir, yani olasılığın tamamı en yüksek logit'e, eşitlikte ilkine gider.
Örnekler
Input: logits = [2.0, 1.0, 0.1], temperature = 1.0
Output: [0.659, 0.242, 0.099]
Input: logits = [2.0, 1.0, 0.1], temperature = 0.5
Output: [0.864, 0.117, 0.019]
Neden: düşük temperature farkları açar, favori daha fazlasını alır
Input: logits = [1000.0, 999.0], temperature = 1.0
Output: [0.731, 0.269]
Neden: edge case: exp(1000) taşar, ama yalnız logit'ler arasındaki farklar önemli
İpuçları
0 / 3
Softmax yalnız logit'ler arasındaki farklara bakar: hepsine aynı sabiti eklemek hiçbir olasılığı değiştirmez.
Üs almadan önce ölçeklenmiş en büyük logit'i çıkar. En büyük terim exp(0) = 1 olur ve hiçbir şey taşamaz.
Temperature 0'ı ayrı ele al, çünkü ona bölmek tanımsız: maksimumun indeksinde 1.0, diğer her yerde 0.0 döndür. Aksi halde ölçekle, maksimum kadar kaydır, üssünü al, toplama böl ve yuvarla.
- Hedef zaman
- O(v)
- Hedef alan
- O(v)
Kısıtlar
- logits may be large, such as 1000
Çözüm
Softmax'tan önce temperature'a bölmek logit'ler arasındaki farkları ölçekler: 1'in altında farklar büyür ve dağılım en üstteki token'a doğru keskinleşir, 1'in üstünde farklar küçülür ve dağılım düzgün dağılıma doğru yayılır. Önce ölçeklenmiş en büyük logit'i çıkarmak standart kararlılık tekniğidir; pay ile paydayı aynı çarpanla çarptığı için cevabı değiştirmez ama her üssü sıfır ya da altında tutar. Temperature 0 bu keskinleşmenin limitidir ve bölmeyle hesaplanamaz, bu yüzden doğrudan greedy decoding olarak ele alınır. v logit için zaman ve alan O(v).
import math
def softmax(logits, temperature=1.0):
if temperature == 0: # greedy: all the mass on the top logit
best = logits.index(max(logits))
return [1.0 if i == best else 0.0 for i in range(len(logits))]
scaled = [x / temperature for x in logits]
top = max(scaled) # shift by the max so exp never overflows
exps = [math.exp(x - top) for x in scaled]
total = sum(exps)
return [round(e / total, 3) for e in exps]
print(softmax([2.0, 1.0, 0.1])) # -> [0.659, 0.242, 0.099]
print(softmax([2.0, 1.0, 0.1], 0.5)) # -> [0.864, 0.117, 0.019]
print(softmax([2.0, 1.0, 0.1], 5.0)) # -> [0.4, 0.327, 0.273]
print(softmax([1000.0, 999.0])) # -> [0.731, 0.269]
print(softmax([3.0, 5.0, 5.0], 0)) # -> [0.0, 1.0, 0.0]Kodda değil de fikirde mi takıldın? Temperature ve örnekleme bunu anlatıyor.