Informationsmængde

Informationsmængde $I$ er inden for informationsteori et kvantitativt mål for mængden af information, der kommer fra en måling eller et udsagn. Hvis udsagnet har sandsynligheden $P$ for at være sandt uden a priori viden, er informationsmængden defineret som:

$I=-\log _{2}P$

Hvis et system kan være i forskellige tilstande med hver deres sandsynlighed, kan en gennemsnitlig informationsmængde beregnes. Dette kaldes også for entropien.

Motivation

Informationsmængde kan forstås ved at overveje, hvilke egenskaber mængden bør have:

1. Hvis et udsagn siger noget åbenlyst, der altid er rigtigt, vil sandsynligheden $P$ for, at udsagnet er rigtigt være 1, mens informationen må være 0. Funktionen $f$, der beskriver informationsmængden, skal altså opfylde:

$I=f(P=1)=0$

2. Hvis noget er mere usandsynligt, må informationen i udsagnet omvendt blive større. Ændring i informationsmængde $\Delta I$ og ændring i sandsynlighed $\Delta P$ må altså have omvendte fortegn:

$\operatorname {sgn}(\Delta I)=-\operatorname {sgn}(\Delta P)$

3. Hvis der bliver givet to udsagn med hver deres uafhængige sandsynlighed, er sandsynligheden for at begge er rigtige givet ved produktet:

$P_{\text{tot}}=P_{1}P_{2}$

Information ville dog normalt blive tænkt på som noget, der kan lægges oven i tidligere information. Dvs. at den samlede information skal være summen:

$I_{\text{tot}}=I_{1}+I_{2}$

Derfor skal informationsmængden være en funktion af sandsynlighed, så den opfylder:

$f(P_{1}P_{2})=f(P_{1})+f(P_{2})$

Krav 3 opfyldes af logaritmen $\log$, så informationsmængde må generelt kunne defineres som:

$I=-k\log P$

Her sørger det negative fortegn for, at definitionen overholder krav 2. Hvis en sandsynlighed for 1 sættes ind, giver logaritmen 0, så krav 1 er også opfyldt. Konstanten $k$ skal være positiv, men kan ellers vælges frit. I informationsteori sættes konstanten typisk til 1. Inden for statistisk mekanik i fysik er konstanten dog lig med Boltzmanns konstant.

Logaritmens basis kan også frit vælges, men typisk vælges to-talslogaritmen $\log _{2}$ i informationsteori skønt den naturlige logaritme $\ln$ bruges i fysik. Dermed bliver den endelige definition:

$I=-\log _{2}P$

Enheden for informationsmængde er da bits.