📢 Webサイト閉鎖と移転のお知らせ
このWebサイトは2026年9月に閉鎖いたします。
新しい記事は移転先で追加しております。（旧サイトでは記事を追加しておりません）
| 35行目: | 35行目: | ||
情報量は、ある事象の"意外性"や"不確実性"を定量的に表現する尺度である。<br> | 情報量は、ある事象の"意外性"や"不確実性"を定量的に表現する尺度である。<br> | ||
確率が低い (起こりにくい) 事象ほど、情報量は大きくなる。<br> | 確率が低い (起こりにくい) 事象ほど、情報量は大きくなる。<br> | ||
<br> | |||
例えば、確率pで生じるある事象から得られる情報量は、<math>I(p) = -a \log p</math> で表される。<br> | |||
<br> | |||
確率 <math>\dfrac{1}{2}</math> で生じる事象から得られる情報量を1ビットと定義する時、次式で表される。<br> | |||
<math>I(p) = -a \log_{2} p</math> | |||
※注意 | |||
対数の底が2であることに注意する。 | |||
すなわち、情報量の単位はビットで表すことができる。 | |||
もし、対数の底が10である場合は、単位はディジットとなる。 | |||
<br> | |||
一般のq源の情報源Sから得られる情報量 <math>\bar{I}</math> に関しては、各情報源記号から得られる情報量の平均として定義されるため、次式となる。<br> | |||
<math>\bar{I} = - \sum_{i = 1}^{q} p_i \log_{2} p_i</math> | |||
<br> | |||
記憶のある情報源の場合、記憶が及ぶ範囲をnとして、n個の連続するシンボルを1つにまとめて考えるn次拡大の操作をすればよい。<br> | |||
<br> | <br> | ||
* 確実な事象 (確率 = 1) の場合 | * 確実な事象 (確率 = 1) の場合 | ||