Saltar al contenido

Softmax con temperatura

Fácil#softmax#numerical-stability~15 min

La misión

Problema

Un modelo de lenguaje puntúa cada token candidato a ser el siguiente con un número crudo llamado logit, y el muestreo convierte esas puntuaciones en probabilidades con un softmax: divide cada logit por la temperatura T, aplica la exponencial y normaliza para que los resultados sumen 1. Escribe softmax(logits, temperature) que devuelva las probabilidades redondeadas a 3 decimales. No debe desbordarse con logits grandes como 1000, y una temperatura de 0 significa decodificación greedy (voraz): toda la probabilidad va al logit más alto y, si hay empate, al primero.

Ejemplos

Input:  logits = [2.0, 1.0, 0.1], temperature = 1.0
Output: [0.659, 0.242, 0.099]
Input:  logits = [2.0, 1.0, 0.1], temperature = 0.5
Output: [0.864, 0.117, 0.019]
Por qué: una temperatura baja agranda las diferencias, así que el favorito se lleva más
Input:  logits = [1000.0, 999.0], temperature = 1.0
Output: [0.731, 0.269]
Por qué: caso límite: exp(1000) se desborda, pero solo importan las diferencias entre logits

Pistas

0 / 3

Tiempo objetivo
O(v)
Espacio objetivo
O(v)

Restricciones

  • logits may be large, such as 1000

¿Lo que te frena es la idea y no el código? Temperatura y muestreo lo explica.

Python 3Ctrl+Enter ejecuta
Caso de prueba propio