情報理論 - 拡大情報源

概要

拡大情報源は、元の情報源を複数回連続して使用した際の出力を1つの新しい情報源として捉える概念のことである。

例えば、ある情報源から出力されるシンボルを2回分まとめて観察する場合、これを2次拡大情報源という。
同様に、3回分をまとめて観察する場合は3次拡大情報源となる。

拡大情報源の特徴は、元の情報源の試行が独立である場合、拡大情報源での出力確率は各試行の確率の積として計算することができる。
例えば、コイン投げを考える場合、表が出る確率が ${\dfrac {1}{2}}$ の場合、2次拡大情報源では"表表"が出る確率は ${\dfrac {1}{4}}$ となる。

拡大情報源のメリットは、情報源の持つ統計的な性質を深く理解できることが挙げられる。
特に、情報理論における符号化や圧縮では、複数シンボルを纏めて扱うことにより、効率的な情報伝送が可能になることがある。

また、拡大情報源のエントロピーは、独立な試行の場合では、元の情報源のエントロピーの整数倍になる傾向がある。
これは、各試行が互いに影響を与えないためである。
ただし、試行間に相関がある場合はエントロピーはその整数倍よりも小さくなることがあり、この性質は情報の冗長性を示す指標として活用される。

応用例として、デジタル通信システムにおける誤り訂正符号の設計やデータ圧縮アルゴリズムの開発等が挙げられる。
これらの場面では、複数のシンボルを組み合わせて扱うことにより、効率的なシステムの構築が可能となる。

情報源の2次拡大

2次拡大情報源S²とは、元の情報源Sを2回連続で使用した場合に得られる新しい情報源のことである。
つまり、2シンボル分の組み合わせを考えた情報源である。

例えば、情報源 $S={\begin{Bmatrix}0&1\\0.80&0.20\end{Bmatrix}}$ があるとする。
この情報源は、1回の試行での出力確率を表している。

2次拡大では、2回連続の試行を考えるため、

• 1回目の試行において、0.80の確率で出力0、0.20の確率で出力1
• 2回目の試行においても同様、0.80の確率で出力0、0.20の確率で出力1

これらの組み合わせの確率は、各試行が独立であることを利用して乗法で計算することができる。

• $P(00)=0.80\times 0.80=0.64\quad$ (1回目で0, 2回目で0)
• $P(01)=0.80\times 0.20=0.16\quad$ (1回目で0, 2回目で1)
• $P(10)=0.20\times 0.80=0.16\quad$ (1回目で1, 2回目で0)
• $P(11)=0.20\times 0.20=0.04\quad$ (1回目で1, 2回目で1)

したがって、二次拡大情報源S²は、$S^{2}={\begin{Bmatrix}00&01&10&11\\0.64&0.16&0.16&0.04\end{Bmatrix}}$ という形で表現できる。

これは、通信システムで2シンボル単位でデータを扱う場合や連続する2つのイベントの関係を分析する時に使用される。

拡大情報源を考えることにより、情報源の特性を深く理解することや効率的な符号化方式を設計することが可能になる。

2次拡大情報源のエントロピー

情報源 $S={\begin{Bmatrix}0&1\\0.80&0.20\end{Bmatrix}}$ があるとする。

この時、2次拡大情報源のエントロピー $H(S^{2})$ は、次式で求めることができる。

${\begin{aligned}H(S^{2})&=-(0.64\log _{2}0.64+0.16\log _{2}0.16+0.16\log _{2}0.16+0.04\log _{2}0.04)\\&\approx 1.444\,\,{\mbox{[bit]}}\end{aligned}}$

2次拡大情報源において、元の情報源のエントロピー $H(S)=-(0.8\log _{2}0.8+0.2\log _{2}0.2)\approx 0.722\,\,{\mbox{[bit]}}$ の約2倍となっていることがわかる。
これは、二次拡大情報源が2回の独立した試行を表現しているためである。