in

Construyendo la fórmula de la entropía de Shannon

0zCdeWPjnqgnoJ1z9

Construyendo la fórmula de la entropía de Shannon

Un enfoque intuitivo para comprender la entropía de Shannon para todos

Alexandru Frujina

10 de mayo de 2020·6 min de lectura

0*zCdeWPjnqgnoJ1z9

Objetivo

La redacción de este artículo es el resultado de intentar comprender el algoritmo del árbol de decisión en el que se puede utilizar la fórmula de entropía de Shannon. El artículo tiene como objetivo presentar un razonamiento intuitivo detrás de la fórmula ilustrando primero la entropía con un ejemplo y luego construyendo la fórmula paso a paso.

¿Qué es la entropía?

La entropía es una medida de incertidumbre y fue introducido en el campo de la teoría de la información por Claude E. Shannon. Se pueden distinguir dos cantidades relacionadas en este contexto: la entropía, que se ocupa de un conjunto de eventos, y la autoentropía, que está asociada con un solo evento.

Información y entropía

Un funorteidea fundamental para recordar es que la información y la entropía están directamente relacionadas.

La autoentropía mide la incertidumbre o la información contenida en un evento.

Cuando se considera la autoentropía, un evento altamente incierto tiene una entropía alta y proporciona una gran cantidad de información, mientras que un evento determinado tiene una entropía baja y proporciona una cantidad baja de información.

Tomando los casos extremos, un evento que siempre sucederá tiene cero autoentropía mientras que un evento que nunca sucederá tiene autoentropía infinita.

La entropía, por otro lado, mide la cantidad promedio de autoentropía que todos los eventos contribuyen a un sistema.

Para ilustrar ambos tipos de entropía, considere que tiene un contenedor en el que solo puede colocar cuatro bolas que pueden ser verdes o rojas como en la Figura 1. Esto conduce a un número de cinco configuraciones donde el orden no importa.

0*gIQSdQkj3 sJa6gj

Teniendo en cuenta la configuración del contenedor 1, la entropía de todo el sistema es cero, ya que no hay incertidumbre asociada con el evento de extraer una bola ya que siempre será rojo. La autoentropía de extraer una bola roja es cero e infinita para la bola verde.

En la configuración de contenedor 2, la entropía de todo el sistema es baja ya que es probable que se extraiga una bola roja del contenedor. En este caso, la autoentropía de extraer una bola verde es alta mientras que la autoentropía de extraer una bola roja es baja.

El último caso importante es la configuración de contenedor 3, ya que proporciona la máxima entropía porque ambos eventos son igualmente probables. La autoentropía de estos dos eventos es media e igual.

Las configuraciones de contenedor 4 y 5 son idénticas a la configuración de contenedor 2 y 1 respectivamente al invertir los colores verde y rojo.

La autoentropía para los eventos anteriores se puede resumir en el gráfico de la Figura 2.

0*Rl06DJCFpWeXJfq

De la misma manera, la entropía de un sistema de dos eventos se puede resumir en el gráfico de la Figura 3.

0*OLzNGpacPlRUYl20

Información de medición

Como la entropía y la información están directamente relacionadas, medir una también conduce a una forma de medir la otra.

Una forma más intuitiva de representar información es utilizar dígitos binarios o bits. Los valores enteros, por ejemplo, se pueden representar como patrones de bits de ceros y unos.

Eventos como extraer una pelota de un contenedor o mensajes como «el equipo visitante ganó el juego» también se pueden representar mediante ciertos patrones de bits como en la Tabla 1.

0*QdW7Yil3ZDUIK 0f

Medir la autoentropía

Un patrón de bits puede asociarse con una probabilidad que depende del número de bits. Por ejemplo, cualquier patrón de bit único tiene una probabilidad de 1/2, mientras que cualquier patrón de bit de dos bits tiene una probabilidad de 1/4 y así sucesivamente como en la Figura 4.

0*P32dvtmB6UCVzHeX

En general, la probabilidad de un determinado patrón de bits es:

1*TQRfTv99zEetM70eP0ZEsA

y, a la inversa, aplicando base logarítmica 2 en ambos lados:

1*39W3hTp8XYrU81L5EGRGvw

El número de bits de información se puede obtener para todo el rango de probabilidad de [0, 1] como en la Figura 4 que está cerca de la intuición en la Figura 2.

0*i9r9Oz0sXBcvliIv

Midiendo la entropía

Al medir la entropía de un sistema, se tiene en cuenta la contribución media de autoentropía de cada evento.

Para dar un ejemplo, considere un evento (o mensaje) que contiene 10 bits de información. Si ese mensaje ocurre con una probabilidad de 0.2, entonces su contribución promedio a todo el sistema es de 10 bits * 0.2 = 2 bits, entonces, Teniendo en cuenta la fórmula de autoentropía, la contribución promedio de cada evento es:

1*yWjy8RuG0WjWmNaa2Y DOg

La entropía contenida en un sistema de n eventos con sus probabilidades asociadas es la suma de todas estas contribuciones promedio:

1*lWsh kXZJqwAtDBlW0RV A

Volviendo al primer ejemplo ilustrado y considerando un sistema de dos eventos, la fórmula se convierte en:

1*UpRlK7zGluPeX2qCE0Gn g

Como la suma de todas las probabilidades es igual a 1, lo anterior se puede reemplazar por:

1*DjOgiZSeyEfWB OyViy 6A

Graficando la fórmula de la entropía para un sistema de dos eventos en la Figura 5, podemos confirmar nuevamente la intuición en la Figura 3.

La Tabla 2 presenta los valores obtenidos al aplicar las fórmulas de autoentropía y entropía para un sistema de dos eventos. El evento 1 se puede asociar con «extraer una bola roja» y el evento 2 con «extraer una bola verde» como en el ejemplo ilustrado.

Conclusión

Espero que esto proporcione una idea de cómo se puede construir la fórmula de la entropía.

Mirando hacia atrás en el propósito del artículo, los árboles de decisión utilizan la fórmula de entropía de Shannon para elegir una característica que divide el conjunto de datos de forma recursiva en subconjuntos con un alto grado de uniformidad (valor de entropía bajo). Dividir el conjunto de datos de manera más uniforme da como resultado el árbol de decisiones con menos profundidad, lo que facilita su uso.

¡Si tiene comentarios o sugerencias, estaré encantado de escucharlos!

El ejemplo representado en la Figura 1 es principalmente una versión resumida del de Luis Serrano en el artículo «Entropía de Shannon, ganancia de información y recolección de bolas de cubos».

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

limpiar cache de whatsaoo 469x400 1

Solucionar el error «Error de descarga» en WhatsApp

Uso de las API de Java para la tecnología inalámbrica Bluetooth