Información

intuitivamente se dice

• eventos/datos que aparecen raras veces transmiten información más importante que eventos/datos muy frecuentes
• toda la información de eventos independientes es igual a la suma de la información de los eventos individuales

modelo de la fuente de información discreta sin memoria (``discrete memoryless source'')

• sea $S$ un conjunto de símbolos $\{s_0,\dots,s_{N-1}\}$, $\vert S\vert=N$
• sea $P$ una distribución discreta de probabilidades $\{p(s_0),\dots,p(s_{N-1})\}$
  con $\sum_i p(s_i)=1$

la fuente genera una secuencia de símbolos independientes sacados del conjunto $S$ según la distribución $P$

una secuencia de tal tipo se suele llamer mensaje

la contribución de información $I(s_i)$ de un símbolo se puede determinar como

$$\begin{eqnarray*} I(s_i)&=&\log_b(1/p(s_i))=\log(1/p(s_i))/\log(b) \end{eqnarray*}$$

la basis $b$ del logaritmo refleja la unidad en la cual se mide la información y influye como un factor constante

si para dos símbolos $s_i$ y $s_j$ tenemos $p(s_i)<p(s_j)$, podemos derivar

$$\begin{eqnarray*} I(s_i)=\log_b(1/p(s_i))=-\log(p(s_i)) >-\log_b(p(s_j))=\log_b(1/p(s_j))=I(s_j) \end{eqnarray*}$$

que está de acuerdo con la primera propuesta intuitiva

para $f_s=(s_0,\dots,s_{n-1})$ siendo una secuencia de símbolos independientes se calcula la probabilidad que fue emitido de la fuente como

$$\begin{eqnarray*} p(f_s)&=&\Pi_i p(s_i) \end{eqnarray*}$$

y obtenemos para la contribución de información de toda la secuencia

$$\begin{eqnarray*} I(f_s)&=&\log_b(1/p(f_s)) \\ &=&\log_b(1/\Pi_i p(s_i)) \\ &=&\sum_i\log_b(1/p(s_i)) \end{eqnarray*}$$

que está de acuerdo con la segunda propuesta intuitiva

bajo la entropía $H$ de la fuente se entiende la contribución media de información que emite la fuente por símbolo, es decir,

$$\begin{eqnarray*} H(S)&=&\sum_i p(s_i)\cdot I(s_i) \\ &=&\sum_i p(s_i)\cdot \log(1/p(s_i)) \\ &=&-\sum_i p(s_i)\cdot \log(p(s_i)) \end{eqnarray*}$$

el contenido de información que puede emitir una fuente está cotado hacía arriba por la entropía de la fuente

reducir el número de símbolos eliminando redundancia pero transmitiendo la misma cantidad de información es el objetivo de la compresión

(sin embargo, es imposible llegar al óptimo con un algoritmo general, porque dicho intento resultaría en calcular la complejidad de Kolmogoroff de una codificación de un mensaje que a su vez es una función no computable)