Pular para o conteúdo

Softmax com temperatura

Fácil#softmax#numerical-stability~15 min

A missão

Problema

Um modelo de linguagem dá a cada token candidato a próximo uma pontuação bruta chamada logit, e a amostragem transforma essas pontuações em probabilidades com um softmax: divida cada logit pela temperatura T, aplique a exponencial e normalize para que os resultados somem 1. Escreva softmax(logits, temperature), que retorna as probabilidades arredondadas para 3 casas decimais. Ela não pode estourar com logits grandes como 1000, e uma temperatura 0 significa decodificação gulosa (greedy): toda a probabilidade vai para o maior logit, o primeiro deles em caso de empate.

Exemplos

Input:  logits = [2.0, 1.0, 0.1], temperature = 1.0
Output: [0.659, 0.242, 0.099]
Input:  logits = [2.0, 1.0, 0.1], temperature = 0.5
Output: [0.864, 0.117, 0.019]
Por quê: uma temperatura baixa estica as diferenças, então o favorito leva mais
Input:  logits = [1000.0, 999.0], temperature = 1.0
Output: [0.731, 0.269]
Por quê: edge case: exp(1000) estoura, mas só as diferenças entre os logits importam

Dicas

0 / 3

Tempo-alvo
O(v)
Espaço-alvo
O(v)

Restrições

  • logits may be large, such as 1000

Travou na ideia, e não no código? Temperatura e amostragem explica isso.

Python 3Ctrl+Enter executa
Caso de teste personalizado