Softmax con temperatura
La misión
Problema
Un modelo de lenguaje puntúa cada token candidato a ser el siguiente con un número crudo llamado logit, y el muestreo convierte esas puntuaciones en probabilidades con un softmax: divide cada logit por la temperatura T, aplica la exponencial y normaliza para que los resultados sumen 1. Escribe softmax(logits, temperature) que devuelva las probabilidades redondeadas a 3 decimales. No debe desbordarse con logits grandes como 1000, y una temperatura de 0 significa decodificación greedy (voraz): toda la probabilidad va al logit más alto y, si hay empate, al primero.
Ejemplos
Input: logits = [2.0, 1.0, 0.1], temperature = 1.0
Output: [0.659, 0.242, 0.099]
Input: logits = [2.0, 1.0, 0.1], temperature = 0.5
Output: [0.864, 0.117, 0.019]
Por qué: una temperatura baja agranda las diferencias, así que el favorito se lleva más
Input: logits = [1000.0, 999.0], temperature = 1.0
Output: [0.731, 0.269]
Por qué: caso límite: exp(1000) se desborda, pero solo importan las diferencias entre logits
Pistas
0 / 3
Al softmax solo le importan las diferencias entre logits: sumar la misma constante a todos deja cada probabilidad sin cambios.
Resta el mayor logit escalado antes de aplicar la exponencial. El término más grande pasa a ser exp(0) = 1 y nada puede desbordarse.
Trata la temperatura 0 por separado, porque dividir por ella no está definido: devuelve 1.0 en el índice del máximo y 0.0 en todos los demás. En otro caso, escala, desplaza por el máximo, aplica la exponencial, divide por la suma y redondea.
- Tiempo objetivo
- O(v)
- Espacio objetivo
- O(v)
Restricciones
- logits may be large, such as 1000
Solución
Dividir por la temperatura antes del softmax escala las diferencias entre logits: por debajo de 1 las diferencias crecen y la distribución se concentra en el token principal; por encima de 1 se achican y la distribución se aplana hacia la uniforme. Restar primero el máximo logit escalado es el truco estándar de estabilidad, ya que multiplica el numerador y el denominador por el mismo factor, lo que deja la respuesta igual y mantiene cada exponente en cero o por debajo. La temperatura 0 es el límite de esa concentración y no se puede calcular dividiendo, así que se maneja directamente como decodificación greedy. El tiempo y el espacio son O(v) para v logits.
import math
def softmax(logits, temperature=1.0):
if temperature == 0: # greedy: all the mass on the top logit
best = logits.index(max(logits))
return [1.0 if i == best else 0.0 for i in range(len(logits))]
scaled = [x / temperature for x in logits]
top = max(scaled) # shift by the max so exp never overflows
exps = [math.exp(x - top) for x in scaled]
total = sum(exps)
return [round(e / total, 3) for e in exps]
print(softmax([2.0, 1.0, 0.1])) # -> [0.659, 0.242, 0.099]
print(softmax([2.0, 1.0, 0.1], 0.5)) # -> [0.864, 0.117, 0.019]
print(softmax([2.0, 1.0, 0.1], 5.0)) # -> [0.4, 0.327, 0.273]
print(softmax([1000.0, 999.0])) # -> [0.731, 0.269]
print(softmax([3.0, 5.0, 5.0], 0)) # -> [0.0, 1.0, 0.0]¿Lo que te frena es la idea y no el código? Temperatura y muestreo lo explica.