情報理論 - 情報量 - 版の履歴

Wiki: /* エントロピーとの関係 */

2024-12-26T00:32:14Z

エントロピーとの関係

← 古い版		2024年12月26日 (木) 09:32時点における版
94行目:		94行目:

	== エントロピーとの関係 ==		== エントロピーとの関係 ==
	~~情報量の期待値がエントロピーとなる。~~<br>		確率的事象により得られる量として情報量を定義した。<br>
	~~つまり、ある確率分布における平均的な情報量を表す。~~<br>		情報源に関して、同じ量を確率的事象が生じることで、生じる前と生じた後の曖昧さの差として解釈したものがエントロピーと呼ばれる量である。<br>
	<br>		<br>
			つまり、情報量の期待値がエントロピーとなる。(ある確率分布における平均的な情報量)<br>
			<br>
			したがって、情報源Sに対しては、
			<math>
			S =
			\begin{Bmatrix}
			a_1, a_2, \cdots, a_q \\
			p_1, p_2, \cdots, p_q
			\end{Bmatrix}
			</math><br>
			<br>
			そのエントロピーは、次式で与えられる。<br>
	<math>H(S) = - \sum_{k = 1}^{N} p_{k} {\log_{2} {p_{k} (x)}}</math><br>		<math>H(S) = - \sum_{k = 1}^{N} p_{k} {\log_{2} {p_{k} (x)}}</math><br>
			<br>
			情報源Sのエントロピー (曖昧さ) は、各事象が等確率で発生する場合にエントロピー <math>H(S)</math> は最大となる。<br>
	<br><br>		<br><br>

Wiki: /* 情報量とは */

2024-12-26T00:22:25Z

情報量とは

← 古い版		2024年12月26日 (木) 09:22時点における版
73行目:		73行目:
	[[ファイル:Entropy 1.png\|フレームなし\|中央]]		[[ファイル:Entropy 1.png\|フレームなし\|中央]]
	<center>図. 情報量 <math>- \log_{2} p</math> のグラフ</center><br>		<center>図. 情報量 <math>- \log_{2} p</math> のグラフ</center><br>
			<br>
			また、一般のq源の情報源Sから得られる情報量 <math>\bar{I}</math> に関しては、各情報源記号から得られる情報量の平均として定義される。<br>
			これを[[情報理論_-_情報量#エントロピーとの関係\|平均情報量]]という。<br>
			<math>\bar{I} = - \sum_{i = 1}^{q} p_i \log_{2} p_i</math>
			<br>
			記憶のある情報源の場合、記憶が及ぶ範囲をnとして、n個の連続するシンボルを1つにまとめて考えるn次拡大の操作をすればよい。<br>
			これについては、[[情報理論_-_情報源符号化\|情報源符号化のページ]]を参照すること。<br>
	<br><br>		<br><br>

Wiki: /* 情報量とは */

2024-12-26T00:16:36Z

情報量とは

← 古い版		2024年12月26日 (木) 09:16時点における版
45行目:		45行目:
	すなわち、情報量の単位はビットで表すことができる。		すなわち、情報量の単位はビットで表すことができる。
	もし、対数の底が10である場合は、単位はディジットとなる。		もし、対数の底が10である場合は、単位はディジットとなる。
	~~<br>~~
	一般のq源の情報源Sから得られる情報量 <math>\bar{I}</math> に関しては、各情報源記号から得られる情報量の平均として定義されるため、次式となる。<br>
	~~<math>\bar{I} = - \sum_{i = 1}^{q} p_i \log_{2} p_i</math>~~
	~~<br>~~
	~~記憶のある情報源の場合、記憶が及ぶ範囲をnとして、n個の連続するシンボルを1つにまとめて考えるn次拡大の操作をすればよい。<br>~~
	<br>		<br>
	* 確実な事象 (確率 = 1) の場合		* 確実な事象 (確率 = 1) の場合

Wiki: /* 情報量とは */

2024-12-25T17:54:51Z

情報量とは

@@ 35行目: / 35行目: @@
 情報量は、ある事象の"意外性"や"不確実性"を定量的に表現する尺度である。<br>
 確率が低い (起こりにくい) 事象ほど、情報量は大きくなる。<br>
 <br>
 * 確実な事象 (確率 = 1) の場合

Wiki: /* エントロピーとの関係 */

2024-12-25T17:46:02Z

エントロピーとの関係

← 古い版		2024年12月26日 (木) 02:46時点における版
80行目:		80行目:
	つまり、ある確率分布における平均的な情報量を表す。<br>		つまり、ある確率分布における平均的な情報量を表す。<br>
	<br>		<br>
	<math>H(S) = - \sum_{k=1}^{N} {\log_{2} {p(x)}}</math><br>		<math>H(S) = - \sum_{k = 1}^{N} p_{k} {\log_{2} {p_{k} (x)}}</math><br>
	<br><br>		<br><br>

2024年12月24日 (火) 23:40にWikiによる

2024-12-24T23:40:29Z

← 古い版		2024年12月25日 (水) 08:40時点における版
40行目:		40行目:
	*: つまり、必ず起きることは、新しい情報をもたらさない。		*: つまり、必ず起きることは、新しい情報をもたらさない。
	<br>		<br>
	* 確率 <math>\~~frac~~{1}{2}</math> の事象 (コイントス等) の場合		* 確率 <math>\dfrac{1}{2}</math> の事象 (コイントス等) の場合
	*: <math>\mbox{ 情報量 } = - \log_{2} {\frac{1}{2}} = 1 \, \, \mbox{[bit]}</math>		*: <math>\mbox{ 情報量 } = - \log_{2} {\frac{1}{2}} = 1 \, \, \mbox{[bit]}</math>
	*: 2つの等確率な選択肢から1つを特定するのに必要な情報量		*: 2つの等確率な選択肢から1つを特定するのに必要な情報量
	<br>		<br>
	* 確率 <math>\~~frac~~{1}{4}</math> の事象の場合		* 確率 <math>\dfrac{1}{4}</math> の事象の場合
	*: <math>\mbox{ 情報量 } = - \log_{2} {\frac{1}{4}} = 2 \, \, \mbox{[bit]}</math>		*: <math>\mbox{ 情報量 } = - \log_{2} {\frac{1}{4}} = 2 \, \, \mbox{[bit]}</math>
	*: 4つの等確率な選択肢から1つを特定するのに必要な情報量		*: 4つの等確率な選択肢から1つを特定するのに必要な情報量
55行目:		55行目:
	* 非負性		* 非負性
	*: 情報量は常に0以上		*: 情報量は常に0以上
			<br>
			確率pがある事象、その事象から得られる情報量をその確率の関数I(p)、AおよびBを確率的事象p<sub>A</sub>、p<sub>B</sub>をその確率とする時、<br>
			* I(p)は、<math>p \in [0, 1]</math> で定義される連続な単調減少関数である。
			* 独立な確率的事象A、Bの発生確率はその確率の積 <math>p_A, \, p_B</math> で表される。
			* A、Bが発生した時に得られる情報量について、<math>I(p_A \, p_B) = I(p_A) + I(p_B)</math> が成り立つということから、情報量を表す関数として対数関数がある。
			<br>
			[[ファイル:Entropy 1.png\|フレームなし\|中央]]
			<center>図. 情報量 <math>- \log_{2} p</math> のグラフ</center><br>
	<br><br>		<br><br>

Wiki: ページの作成:「== 概要 == 情報量は、ある事象がもたらす"情報の大きさ"を数学的に定量化する概念である。
これは1948年にクロード・シャノンによって提唱され、現代の情報理論の基礎となっている。

情報量の考え方は、ある事象が"どれだけ意外か"、"どれだけ不確実か"を数値化することである。
直感的に理解すると、珍しい出来事ほど大きな情報価…」

2024-12-24T23:05:01Z

ページの作成:「== 概要 == 情報量は、ある事象がもたらす"情報の大きさ"を数学的に定量化する概念である。 これは1948年にクロード・シャノンによって提唱され、現代の情報理論の基礎となっている。 情報量の考え方は、ある事象が"どれだけ意外か"、"どれだけ不確実か"を数値化することである。 直感的に理解すると、珍しい出来事ほど大きな情報価…」

新規ページ

== 概要 ==
情報量は、ある事象がもたらす"情報の大きさ"を数学的に定量化する概念である。 
これは1948年にクロード・シャノンによって提唱され、現代の情報理論の基礎となっている。 
 
情報量の考え方は、ある事象が"どれだけ意外か"、"どれだけ不確実か"を数値化することである。 
直感的に理解すると、珍しい出来事ほど大きな情報価値があり、当たり前の出来事はあまり情報価値が無いと考えられる。 
 
情報量は確率の対数を用いて定義される。 
確率pの事象の情報量は <math>- \log_{2} p</math> と定義される。 
対数の底として2を使用する理由は、情報をビット (0または1の2進数) で表現することに関連している。 
 
情報理論では、確実に起こる事象 (確率 = 1) の情報量は0となる。 
これは、"必ず起こること"は新しい情報をもたらさないという直感に合致する。 
一方で、確率が小さくなるほど情報量は大きくなり、極めて稀な事象は大きな情報量を持つことになる。 
 
情報量の概念を拡張したエントロピーは、システム全体の不確実性や情報の平均量を表す指標として広く用いられている。 
エントロピーは、各事象の情報量をその発生確率で重み付けして平均を取ったものとして定義される。 
 
情報量は起こる確率nとして、<math>\log_{2} \frac{1}{n} = - \log_{2} n</math> と定義する。 
また、底が2の場合の情報量の単位は、ビット (bit)で表される。 
 
実用面では、情報量の概念はデータ圧縮、暗号化、通信システムの設計等、様々な分野で応用されている。 
特に、データ圧縮においては、頻繁に出現する要素には少ないビット数を稀に出現する要素には多いビット数を割り当てることにより、効率的な符号化が可能となる。 
 
また、情報量は機械学習や人工知能の分野でも重要な役割を果たしており、決定木アルゴリズムにおける分岐の選択や特徴量の重要度評価などに活用されている。 
* データ圧縮
*: 頻出するシンボルには少ないビット数、稀なシンボルには多いビット数を割り当てる。(ハフマン符号化等)
* 通信理論
*: チャネル容量の計算する。
* 機械学習
*: エントロピーを用いた特徴選択や決定木の分岐基準する。
 

== 情報量とは ==
情報量は、ある事象の"意外性"や"不確実性"を定量的に表現する尺度である。 
確率が低い (起こりにくい) 事象ほど、情報量は大きくなる。 
 
* 確実な事象 (確率 = 1) の場合
*: <math>\mbox{ 情報量 } = - \log_{2} {1} = 0 \, \, \mbox{[bit]}</math>
*: つまり、必ず起きることは、新しい情報をもたらさない。
 
* 確率 <math>\frac{1}{2}</math> の事象 (コイントス等) の場合
*: <math>\mbox{ 情報量 } = - \log_{2} {\frac{1}{2}} = 1 \, \, \mbox{[bit]}</math>
*: 2つの等確率な選択肢から1つを特定するのに必要な情報量
 
* 確率 <math>\frac{1}{4}</math> の事象の場合
*: <math>\mbox{ 情報量 } = - \log_{2} {\frac{1}{4}} = 2 \, \, \mbox{[bit]}</math>
*: 4つの等確率な選択肢から1つを特定するのに必要な情報量
 
この定義が採用された理由を以下に示す。 
* 加法性
*: 独立な事象の情報量は足し合わせることができる。
* 単調性
*: 確率が小さくなるほど情報量が大きくなる。
* 非負性
*: 情報量は常に0以上
 

== 情報量の性質 ==
独立な事象の情報量は加法性を持つ。 
例えば、2つの独立した事象が連続して起こる場合、その総合的な情報量は各事象の情報量の和となる。 
 
この性質は、実際のデータ通信や圧縮技術において重要な役割を果たしている。 
 
* 情報量は必ず非負の値になる。
* 確率が小さいほど情報量は大きくなる。
* 独立事象の場合、情報量は加法的である。 それぞれの情報量を足し合わせることが可能。
 

== エントロピーとの関係 ==
情報量の期待値がエントロピーとなる。 
つまり、ある確率分布における平均的な情報量を表す。 
 
<math>H(S) = - \sum_{k=1}^{N} {\log_{2} {p(x)}}</math> 
 

== 例題 ==
==== サイコロの情報量 ====
6面サイコロを振り、特定の目 (例: 1) が出る場合の情報量を計算する。 
 
* <math>\mbox{ 確率 } = \dfrac{1}{6}</math>
* <math>\mbox{ 情報量 } = - \log_{2} \dfrac{1}{6} = \log_{2} 6 \cong 2.58 \, \, \mbox{[bit]}</math>
 
==== トランプのカード ====
52枚のトランプから特定のカード (例: ハートのエース) を引く場合の情報量を計算する。 
 
* <math>\mbox{ 確率 } = \dfrac{1}{52}</math>
* <math>\mbox{ 情報量 } = - \log_{2} \dfrac{1}{52} = \log_{2} 52 \cong 5.70 \, \, \mbox{[bit]}</math>
 
==== 天気予報 ====
ある地域の天気が晴れである確率が0.7、雨である確率が0.3の場合の情報量を計算する。 
 
* 晴れの情報量
*: <math>\mbox{ 情報量 } = \dfrac{7}{10} \cong 0.51 \, \, \mbox{[bit]}</math>
* 雨の情報量
*: <math>\mbox{ 情報量 } = \dfrac{3}{10} \cong 1.74 \, \, \mbox{[bit]}</math>
* 平均情報量 (この系のエントロピー)
*: <math>\mbox{ 平均情報量 } = H(S) = - (0.7 \times \log_{2} \dfrac{7}{10} + 0.3 \times \log_{2} \dfrac{3}{10}) \cong 0.88 \, \, \mbox{[bit]}</math>
 
==== 文字の出現確率 ====
韓国語の文章において、"한국어"という文字が出現する確率が0.08の場合を計算する。 
 
* <math>\mbox{ 情報量 } = - \log_{2} 0.08 \cong 3.64 \, \, \mbox{[bit]}</math>
 
==== 複数の独立事象 ====
サイコロを2回振って、1回目が1、2回目が6が出る確率の情報量を計算する。 
 
* 各事象の確率 : <math>\dfrac{1}{6} \times \dfrac{1}{6} = \dfrac{1}{36}</math>
* <math>\mbox{ 情報量 } = - \log_{2} \dfrac{1}{36} = \log_{2} 6 \cong 5.17 \, \, \mbox{[bit]}</math>
 

{{#seo:
|title={{PAGENAME}} : Exploring Electronics and SUSE Linux | MochiuWiki
|keywords=MochiuWiki,Mochiu,Wiki,Mochiu Wiki,Electric Circuit,Electric,pcb,Mathematics,AVR,TI,STMicro,AVR,ATmega,MSP430,STM,Arduino,Xilinx,FPGA,Verilog,HDL,PinePhone,Pine Phone,Raspberry,Raspberry Pi,C,C++,C#,Qt,Qml,MFC,Shell,Bash,Zsh,Fish,SUSE,SLE,Suse Enterprise,Suse Linux,openSUSE,open SUSE,Leap,Linux,uCLnux,Podman,電気回路,電子回路,基板,プリント基板
|description={{PAGENAME}} - 電子回路とSUSE Linuxに関する情報 | This page is {{PAGENAME}} in our wiki about electronic circuits and SUSE Linux
|image=/resources/assets/MochiuLogo_Single_Blue.png
}}

__FORCETOC__
[[カテゴリ:情報理論]]