İçeriğe geç

Temperature ile softmax

Kolay#softmax#numerical-stability~15 dk

Görev tanımı

Problem

Bir dil modeli, aday her sonraki token'a logit denen ham bir sayıyla puan verir; örnekleme de bu puanları softmax ile olasılığa çevirir: her logit'i temperature (sıcaklık parametresi) T'ye böl, üssünü al ve sonuçların toplamı 1 olacak şekilde normalize et. Olasılıkları 3 ondalığa yuvarlanmış olarak döndüren softmax(logits, temperature) fonksiyonunu yaz. 1000 gibi büyük logit'lerde taşma olmamalı; temperature 0 ise greedy (açgözlü) decoding demektir, yani olasılığın tamamı en yüksek logit'e, eşitlikte ilkine gider.

Örnekler

Input:  logits = [2.0, 1.0, 0.1], temperature = 1.0
Output: [0.659, 0.242, 0.099]
Input:  logits = [2.0, 1.0, 0.1], temperature = 0.5
Output: [0.864, 0.117, 0.019]
Neden: düşük temperature farkları açar, favori daha fazlasını alır
Input:  logits = [1000.0, 999.0], temperature = 1.0
Output: [0.731, 0.269]
Neden: edge case: exp(1000) taşar, ama yalnız logit'ler arasındaki farklar önemli

İpuçları

0 / 3

Hedef zaman
O(v)
Hedef alan
O(v)

Kısıtlar

  • logits may be large, such as 1000

Kodda değil de fikirde mi takıldın? Temperature ve örnekleme bunu anlatıyor.

Python 3Ctrl+Enter çalıştırır
Özel test case