La teoría de la información mide la información en bits (III)

Observe que la cantidad de información (0.469) que contiene una moneda balanceada es menor a la que contiene una moneda desbalanceada (1.0). La cantidad máxima de información se obtiene siempre y cuando las probabilidades sean equiprobables. Esto se debe a que, a medida que una alternativa se hace más probable, contiene menor cantidad de información (es decir, considere la luz indicadora del motor al arrancar el automóvil). Lo anterior nos lleva al concepto de redundancia y la reducción de información a partir de lo más posible debido a la desigualdad de las probabilidades de ocurrencia. La redundancia puede expresarse como