Una puntuación de Brier es una métrica que utilizamos en estadísticas para medir la precisión de los pronósticos probabilísticos. Por lo general, se usa cuando el resultado de un pronóstico es binario, ya sea que el resultado se produzca o no.
Por ejemplo, suponga que un pronóstico del tiempo dice que hay un 90% de probabilidad de lluvia y, en realidad, llueve. Podemos calcular el puntaje de Brier para este pronóstico usando la siguiente fórmula:
Puntuación de Brier = (f – o) 2
dónde:
f = probabilidad pronosticada
o = resultado (1 si el evento ocurre, 0 si no ocurre)
En este ejemplo, el puntaje de Brier para nuestro pronóstico sería (0.9 – 1) 2 = -0.1 2 = 0.01
Un puntaje de Brier para un conjunto de pronósticos se calcula simplemente como el promedio de los puntajes de Brier para los pronósticos individuales:
Puntuación de Brier = 1 / n * Σ (f t – o t ) 2
dónde:
n = tamaño de la muestra (el número de pronósticos)
Σ = un símbolo elegante que significa «suma»
f t = probabilidad pronosticada en el evento t
o = resultado en el evento t (1 si el evento ocurre, 0 si no ocurre)
Un puntaje Brier puede tomar cualquier valor entre 0 y 1, siendo 0 el mejor puntaje que se puede lograr y 1 el peor puntaje que se puede lograr. Cuanto menor sea la puntuación de Brier, más precisas serán las predicciones.
Ejemplos de cálculo de puntuaciones de Brier
Los siguientes ejemplos ilustran cómo calcular las puntuaciones de Brier.
Ejemplo 1: Un pronóstico dice que hay un 0% de probabilidad de lluvia y llueve.
Puntaje de Brier = (0 – 1) 2 = 1
Ejemplo 2: Un pronóstico dice que hay un 100% de probabilidad de lluvia y llueve.
Puntuación de Brier = (1 – 1) 2 = 0
Ejemplo 3: Un pronóstico dice que hay un 27% de probabilidad de lluvia y llueve.
Puntuación de Brier = (.27 – 1) 2 = 0.5329
Ejemplo 4: Un pronóstico dice que hay un 97% de probabilidad de lluvia y no llueve.
Puntuación de Brier = (.97 – 0) 2 = 0.9409
Ejemplo 5: un pronosticador del tiempo hace las siguientes predicciones:
| Probabilidad de lluvia | Salir |
|---|---|
| 27% | Lluvia |
| 67% | Lluvia |
| 83% | No llueve |
| 90% | Lluvia |
Podemos calcular la puntuación de Brier para este conjunto de predicciones utilizando las siguientes fórmulas:
| Probabilidad de lluvia | Salir | Brier Score |
|---|---|---|
| 27% | Lluvia | (.27-1) 2 = .5329 |
| 67% | Lluvia | (.67-1) 2 = .1089 |
| 83% | No llueve | (.83-0) 2 = .6889 |
| 90% | Lluvia | (.90-1) 2 = .01 |
Puntuación de Brier = (.5329 + .1089 + .6889 + .01) / 4 = 0.3352 .
Puntuaciones de habilidad de Brier
Un Brier Skill Score es una métrica que nos dice qué tan bien se compara el Brier Score de un nuevo modelo de pronóstico con un modelo de pronóstico existente. Se calcula como:
Brier Skill Score = (BS E – BS N ) / BS E
dónde:
BS E = Puntaje Brier del modelo existente
BS N = Brier Score del nuevo modelo
Si una puntuación de habilidad de Brier es positiva, el nuevo modelo hace predicciones más precisas. Si la puntuación de habilidad de Brier es negativa, el nuevo modelo hace peores predicciones. Y si la puntuación de habilidad de Brier es igual a cero, el nuevo modelo no ofrece ninguna mejora con respecto al modelo existente.
Por ejemplo, suponga que nuestro modelo existente tiene una puntuación de Brier de BS E = 0,4221 y nuestro nuevo modelo tiene una puntuación de Brier de BS N = 0,3352. La puntuación de habilidad de Brier de nuestro nuevo modelo se puede calcular como:
Puntaje de habilidad de Brier = (0.4421 – 0.3352) / (0.4421) = 0.2418 .
Dado que este número es positivo, es una indicación de que nuestro nuevo modelo proporciona pronósticos más precisos en relación con el modelo existente.
Cuanto mayor sea la puntuación de habilidad de Brier, mayor será la mejora en el nuevo modelo en comparación con el modelo existente.
- https://r-project.org
- https://www.python.org/
- https://www.stata.com/
