📢 Webサイト閉鎖と移転のお知らせ
このWebサイトは2026年9月に閉鎖いたします。
新しい記事は移転先で追加しております。（旧サイトでは記事を追加しておりません）
ページの作成:「== 概要 == 情報量は、ある事象がもたらす"情報の大きさ"を数学的に定量化する概念である。<br> これは1948年にクロード・シャノンによって提唱され、現代の情報理論の基礎となっている。<br> <br> 情報量の考え方は、ある事象が"どれだけ意外か"、"どれだけ不確実か"を数値化することである。<br> 直感的に理解すると、珍しい出来事ほど大きな情報価…」 |
編集の要約なし |
||
| 40行目: | 40行目: | ||
*: つまり、必ず起きることは、新しい情報をもたらさない。 | *: つまり、必ず起きることは、新しい情報をもたらさない。 | ||
<br> | <br> | ||
* 確率 <math>\ | * 確率 <math>\dfrac{1}{2}</math> の事象 (コイントス等) の場合 | ||
*: <math>\mbox{ 情 報 量 } = - \log_{2} {\frac{1}{2}} = 1 \, \, \mbox{[bit]}</math> | *: <math>\mbox{ 情 報 量 } = - \log_{2} {\frac{1}{2}} = 1 \, \, \mbox{[bit]}</math> | ||
*: 2つの等確率な選択肢から1つを特定するのに必要な情報量 | *: 2つの等確率な選択肢から1つを特定するのに必要な情報量 | ||
<br> | <br> | ||
* 確率 <math>\ | * 確率 <math>\dfrac{1}{4}</math> の事象の場合 | ||
*: <math>\mbox{ 情 報 量 } = - \log_{2} {\frac{1}{4}} = 2 \, \, \mbox{[bit]}</math> | *: <math>\mbox{ 情 報 量 } = - \log_{2} {\frac{1}{4}} = 2 \, \, \mbox{[bit]}</math> | ||
*: 4つの等確率な選択肢から1つを特定するのに必要な情報量 | *: 4つの等確率な選択肢から1つを特定するのに必要な情報量 | ||
| 55行目: | 55行目: | ||
* 非負性 | * 非負性 | ||
*: 情報量は常に0以上 | *: 情報量は常に0以上 | ||
<br> | |||
確率pがある事象、その事象から得られる情報量をその確率の関数I(p)、AおよびBを確率的事象p<sub>A</sub>、p<sub>B</sub>をその確率とする時、<br> | |||
* I(p)は、<math>p \in [0, 1]</math> で定義される連続な単調減少関数である。 | |||
* 独立な確率的事象A、Bの発生確率はその確率の積 <math>p_A, \, p_B</math> で表される。 | |||
* A、Bが発生した時に得られる情報量について、<math>I(p_A \, p_B) = I(p_A) + I(p_B)</math> が成り立つということから、情報量を表す関数として対数関数がある。 | |||
<br> | |||
[[ファイル:Entropy 1.png|フレームなし|中央]] | |||
<center>図. 情報量 <math>- \log_{2} p</math> のグラフ</center><br> | |||
<br><br> | <br><br> | ||