12,982
回編集
「情報理論 - 拡大情報源」の版間の差分
ナビゲーションに移動
検索に移動
→概要
(ページの作成:「== 概要 == <br><br> == 情報源の2次拡大 == 2次拡大情報源S<sup>2</sup>とは、元の情報源Sを2回連続で使用した場合に得られる新しい情報源のことである。<br> つまり、2シンボル分の組み合わせを考えた情報源である。<br> <br> 例えば、情報源 <math>S = \begin{Bmatrix} 0 & 1 \\ 0.80 & 0.20 \end{Bmatrix}</math> があるとする。<br> この情報源は、1回の試行での出力確率を表し…」) |
(→概要) |
||
| 1行目: | 1行目: | ||
== 概要 == | == 概要 == | ||
拡大情報源は、元の情報源を複数回連続して使用した際の出力を1つの新しい情報源として捉える概念のことである。<br> | |||
<br> | |||
例えば、ある情報源から出力されるシンボルを2回分まとめて観察する場合、これを2次拡大情報源という。<br> | |||
同様に、3回分をまとめて観察する場合は3次拡大情報源となる。<br> | |||
<br> | |||
拡大情報源の特徴は、元の情報源の試行が独立である場合、拡大情報源での出力確率は各試行の確率の積として計算することができる。<br> | |||
例えば、コイン投げを考える場合、表が出る確率が <math>\dfrac{1}{2}</math> の場合、2次拡大情報源では"表表"が出る確率は <math>\dfrac{1}{4}</math> となる。<br> | |||
<br> | |||
拡大情報源のメリットは、情報源の持つ統計的な性質を深く理解できることが挙げられる。<br> | |||
特に、情報理論における符号化や圧縮では、複数シンボルを纏めて扱うことにより、効率的な情報伝送が可能になることがある。<br> | |||
<br> | |||
また、拡大情報源のエントロピーは、独立な試行の場合では、元の情報源のエントロピーの整数倍になる傾向がある。<br> | |||
これは、各試行が互いに影響を与えないためである。<br> | |||
ただし、試行間に相関がある場合はエントロピーはその整数倍よりも小さくなることがあり、この性質は情報の冗長性を示す指標として活用される。<br> | |||
<br> | |||
応用例として、デジタル通信システムにおける誤り訂正符号の設計やデータ圧縮アルゴリズムの開発等が挙げられる。<br> | |||
これらの場面では、複数のシンボルを組み合わせて扱うことにより、効率的なシステムの構築が可能となる。<br> | |||
<br><br> | <br><br> | ||