📢 Webサイト閉鎖と移転のお知らせ
このWebサイトは2026年9月に閉鎖いたします。
新しい記事は移転先で追加しております。（旧サイトでは記事を追加しておりません）
| (同じ利用者による、間の3版が非表示) | |||
| 35行目: | 35行目: | ||
情報量は、ある事象の"意外性"や"不確実性"を定量的に表現する尺度である。<br> | 情報量は、ある事象の"意外性"や"不確実性"を定量的に表現する尺度である。<br> | ||
確率が低い (起こりにくい) 事象ほど、情報量は大きくなる。<br> | 確率が低い (起こりにくい) 事象ほど、情報量は大きくなる。<br> | ||
<br> | |||
例えば、確率pで生じるある事象から得られる情報量は、<math>I(p) = -a \log p</math> で表される。<br> | |||
<br> | |||
確率 <math>\dfrac{1}{2}</math> で生じる事象から得られる情報量を1ビットと定義する時、次式で表される。<br> | |||
<math>I(p) = -a \log_{2} p</math> | |||
※注意 | |||
対数の底が2であることに注意する。 | |||
すなわち、情報量の単位はビットで表すことができる。 | |||
もし、対数の底が10である場合は、単位はディジットとなる。 | |||
<br> | <br> | ||
* 確実な事象 (確率 = 1) の場合 | * 確実な事象 (確率 = 1) の場合 | ||
| 63行目: | 73行目: | ||
[[ファイル:Entropy 1.png|フレームなし|中央]] | [[ファイル:Entropy 1.png|フレームなし|中央]] | ||
<center>図. 情報量 <math>- \log_{2} p</math> のグラフ</center><br> | <center>図. 情報量 <math>- \log_{2} p</math> のグラフ</center><br> | ||
<br> | |||
また、一般のq源の情報源Sから得られる情報量 <math>\bar{I}</math> に関しては、各情報源記号から得られる情報量の平均として定義される。<br> | |||
これを[[情報理論_-_情報量#エントロピーとの関係|平均情報量]]という。<br> | |||
<math>\bar{I} = - \sum_{i = 1}^{q} p_i \log_{2} p_i</math> | |||
<br> | |||
記憶のある情報源の場合、記憶が及ぶ範囲をnとして、n個の連続するシンボルを1つにまとめて考えるn次拡大の操作をすればよい。<br> | |||
これについては、[[情報理論_-_情報源符号化|情報源符号化のページ]]を参照すること。<br> | |||
<br><br> | <br><br> | ||
| 77行目: | 94行目: | ||
== エントロピーとの関係 == | == エントロピーとの関係 == | ||
確率的事象により得られる量として情報量を定義した。<br> | |||
情報源に関して、同じ量を確率的事象が生じることで、生じる前と生じた後の曖昧さの差として解釈したものがエントロピーと呼ばれる量である。<br> | |||
<br> | <br> | ||
つまり、情報量の期待値がエントロピーとなる。(ある確率分布における平均的な情報量)<br> | |||
<br> | |||
したがって、情報源Sに対しては、 | |||
<math> | |||
S = | |||
\begin{Bmatrix} | |||
a_1, a_2, \cdots, a_q \\ | |||
p_1, p_2, \cdots, p_q | |||
\end{Bmatrix} | |||
</math><br> | |||
<br> | |||
そのエントロピーは、次式で与えられる。<br> | |||
<math>H(S) = - \sum_{k = 1}^{N} p_{k} {\log_{2} {p_{k} (x)}}</math><br> | <math>H(S) = - \sum_{k = 1}^{N} p_{k} {\log_{2} {p_{k} (x)}}</math><br> | ||
<br> | |||
情報源Sのエントロピー (曖昧さ) は、各事象が等確率で発生する場合にエントロピー <math>H(S)</math> は最大となる。<br> | |||
<br><br> | <br><br> | ||