Softmax com temperatura
A missão
Problema
Um modelo de linguagem dá a cada token candidato a próximo uma pontuação bruta chamada logit, e a amostragem transforma essas pontuações em probabilidades com um softmax: divida cada logit pela temperatura T, aplique a exponencial e normalize para que os resultados somem 1. Escreva softmax(logits, temperature), que retorna as probabilidades arredondadas para 3 casas decimais. Ela não pode estourar com logits grandes como 1000, e uma temperatura 0 significa decodificação gulosa (greedy): toda a probabilidade vai para o maior logit, o primeiro deles em caso de empate.
Exemplos
Input: logits = [2.0, 1.0, 0.1], temperature = 1.0
Output: [0.659, 0.242, 0.099]
Input: logits = [2.0, 1.0, 0.1], temperature = 0.5
Output: [0.864, 0.117, 0.019]
Por quê: uma temperatura baixa estica as diferenças, então o favorito leva mais
Input: logits = [1000.0, 999.0], temperature = 1.0
Output: [0.731, 0.269]
Por quê: edge case: exp(1000) estoura, mas só as diferenças entre os logits importam
Dicas
0 / 3
O softmax só se importa com as diferenças entre os logits: somar a mesma constante a todos eles não muda nenhuma probabilidade.
Subtraia o maior logit escalado antes de aplicar a exponencial. O maior termo vira exp(0) = 1, e nada pode estourar.
Trate a temperatura 0 separadamente, porque dividir por ela é indefinido: retorne 1,0 no índice do máximo e 0,0 em todos os outros. Caso contrário, escale, desloque pelo máximo, aplique a exponencial, divida pela soma e arredonde.
- Tempo-alvo
- O(v)
- Espaço-alvo
- O(v)
Restrições
- logits may be large, such as 1000
Solução
Dividir pela temperatura antes do softmax escala as diferenças entre os logits: abaixo de 1, as diferenças crescem e a distribuição se concentra no token do topo; acima de 1, elas diminuem e a distribuição se achata em direção à uniforme. Subtrair antes o maior logit escalado é o truque padrão de estabilidade, já que isso multiplica o numerador e o denominador pelo mesmo fator, deixando a resposta igual e mantendo todo expoente em zero ou abaixo. A temperatura 0 é o limite desse afinamento e não pode ser calculada por divisão, então ela é tratada diretamente como decodificação gulosa. O tempo e o espaço são O(v) para v logits.
import math
def softmax(logits, temperature=1.0):
if temperature == 0: # greedy: all the mass on the top logit
best = logits.index(max(logits))
return [1.0 if i == best else 0.0 for i in range(len(logits))]
scaled = [x / temperature for x in logits]
top = max(scaled) # shift by the max so exp never overflows
exps = [math.exp(x - top) for x in scaled]
total = sum(exps)
return [round(e / total, 3) for e in exps]
print(softmax([2.0, 1.0, 0.1])) # -> [0.659, 0.242, 0.099]
print(softmax([2.0, 1.0, 0.1], 0.5)) # -> [0.864, 0.117, 0.019]
print(softmax([2.0, 1.0, 0.1], 5.0)) # -> [0.4, 0.327, 0.273]
print(softmax([1000.0, 999.0])) # -> [0.731, 0.269]
print(softmax([3.0, 5.0, 5.0], 0)) # -> [0.0, 1.0, 0.0]Travou na ideia, e não no código? Temperatura e amostragem explica isso.