📢 Webサイト閉鎖と移転のお知らせ
このWebサイトは2026年9月に閉鎖いたします。
新しい記事は移転先で追加しております。（旧サイトでは記事を追加しておりません）
| (同じ利用者による、間の4版が非表示) | |||
| 2行目: | 2行目: | ||
定常情報源とは、時間的な特性が一定している情報の発生源を指す。<br> | 定常情報源とは、時間的な特性が一定している情報の発生源を指す。<br> | ||
例えば、シンボルの出現確率が時間によって変化せず、一定の統計的性質を保持している情報源のことを意味する。<br> | 例えば、シンボルの出現確率が時間によって変化せず、一定の統計的性質を保持している情報源のことを意味する。<br> | ||
<br> | |||
すなわち、任意の正整数nとiおよび情報源アルファベットの任意の元 <math>x_{0}, x_{1}, \cdots, x_{n-1}</math> に対して、<br> | |||
<math>P_{X0 \, X1 \, \cdots \, Xn-1} (x_{0}, x_{1}, \cdots, x_{n-1}) = P_{Xi \, Xi+1 \, \cdots \, Xi+n-1} (x_{0}, x_{1}, \cdots, x_{n-1})</math> が成立するとき、この情報源を定常情報源という。<br> | |||
<br> | <br> | ||
定常情報源の特徴として、以下に示すような性質が挙げられる。<br> | 定常情報源の特徴として、以下に示すような性質が挙げられる。<br> | ||
| 10行目: | 13行目: | ||
*: 十分長い時間で観測する時、時間平均が集合平均に一致する性質を持つ。 | *: 十分長い時間で観測する時、時間平均が集合平均に一致する性質を持つ。 | ||
*: これにより、長期的な統計的性質を予測することが可能になる。 | *: これにより、長期的な統計的性質を予測することが可能になる。 | ||
<br> | |||
定常情報源の出力は、各時点において同一の確率分布に従う。<br> | |||
この確率分布を定常分布という。<br> | |||
<br> | <br> | ||
定常情報源は、通信システムの設計や情報圧縮において重要となる。<br> | 定常情報源は、通信システムの設計や情報圧縮において重要となる。<br> | ||
| 32行目: | 38行目: | ||
== 定常情報源の結合確率分布 == | == 定常情報源の結合確率分布 == | ||
記憶のない定常情報源における長さnの系列の結合確率分布は、次式で表すことができる。<br> | 記憶のない定常情報源における長さnの系列の結合確率分布は、次式で表すことができる。<br> | ||
<math>P_{X0 | <math>P_{X0, \ \cdots \, Xn-1} (x_{0}, \cdots, x_{n-1}) = \prod_{i=0}^{n-1} P_{X}(x_{i})</math> | ||
<br> | <br> | ||
例題: | 例題: | ||
| 59行目: | 65行目: | ||
\end{align} | \end{align} | ||
</math> | </math> | ||
<br><br> | |||
== エルゴード情報源 == | |||
==== エルゴード情報源とは ==== | |||
エルゴード情報源は、時間平均と空間平均 (アンサンブル平均) が一致するという性質がある。<br> | |||
<br> | |||
エルゴード性とは、十分に長い時間観測を行うことにより、その情報源の統計的性質を完全に把握できるということである。<br> | |||
例えば、ある文字の出現確率を知りたい場合、十分に長い系列を観測することにより、その確率を正確に推定することができる。<br> | |||
<br> | |||
応用例として、音声信号の分析がある。<br> | |||
短時間で見ると、音声信号はエルゴード性を持つと仮定できる。<br> | |||
<br> | |||
* 統計的予測可能性 | |||
*: 将来の挙動を過去のデータから予測することが可能 | |||
* 解析の簡便性 | |||
*: 時間平均で分析することにより、システム全体の特性を理解できる。 | |||
<br> | |||
エルゴード情報源は、定常確率過程において、時間シフト作用素Tに関する不変測度が一意的である場合、その過程はエルゴード的であるとされる。<br> | |||
この性質は、エルゴード性があることで長い系列に対する最適な符号化方式を設計することが可能となるため、情報圧縮や通信路符号化において重要な役割を果たす。<br> | |||
<br> | |||
エルゴード情報源の性質を利用して、通信システムの設計や性能評価が行われている。<br> | |||
例えば、デジタル通信システムにおける誤り訂正符号の設計では、チャネルのエルゴード性を仮定することにより、効率的な符号化方式を実現している。<br> | |||
<br> | |||
また、パターン認識や機械学習の分野でも、データの定常性とエルゴード性は重要な仮定となっている。<br> | |||
これらの性質があることで、学習アルゴリズムの収束性が保証されて、実用的なシステムの構築が可能となる。<br> | |||
<br> | |||
==== 定常情報源におけるエルゴード情報源の計算例 ==== | |||
定常マルコフ情報源とは、確率過程の1つであり、以下のような特徴を持つ。<br> | |||
* マルコフ性 | |||
*: 次の状態は、現在の状態にのみ依存する。(1次マルコフ性の場合) | |||
*: つまり、それ以前の状態には直接依存しない。 | |||
* 定常性 | |||
*: 状態遷移の確率が時間によって変化しない。 | |||
*: つまり、同じ状態からの遷移は、いつでも同じ確率分布に従う。 | |||
<br> | |||
例えば、文字列生成を考える場合、"A"の次に"B"が来る確率が30[%]、"C"が来る確率が70[%]というように確率的に次の状態が決まる時、この確率は時間によらず一定である。<br> | |||
<br> | |||
定常マルコフ情報源の例: | |||
文字列 {a, b} を出力する定常情報源において、遷移確率行列が以下に示す場合 | |||
<math>P(a|a) = 0.7, \, \, P(b|a) = 0.3</math> | |||
<math>P(a|b) = 0.4, \, \, P(b|b) = 0.6</math> | |||
<br> | |||
この情報源の定常性とエルゴード性の確認する。<br> | |||
定常分布の計算: | |||
<math>\pi(a) = 0.7 \pi(a) + 0.4 \pi(b)</math> | |||
<math>\pi(a) + \pi(b) = 1</math> | |||
したがって、 | |||
<math>\pi(a) = 0.57</math> | |||
<math>\pi(b) = 0.43</math> | |||
<br> | |||
次に、エルゴード性を確認する。<br> | |||
時間平均の計算: | |||
長さnの系列で'a'の出現回数/n : <math>0.57 (n \rightarrow \infty)</math> | |||
空間平均の計算: | |||
<math>\pi(a) = 0.57</math> | |||
両者が一致することから、エルゴード性が確認できる。 | |||
<br> | |||
定常二元情報源の例: | |||
{0, 1}を出力する定常情報源があり、出力確率が次のとき | |||
<math>P(0) = 0.6, \, \, P(1) = 0.4</math> | |||
時間平均は、長さnの出力系列中の'0'の出現頻度 : 0.6 | |||
空間平均は、確率 <math>P(0) = 0.6</math> | |||
両者が一致することから、エルゴード性を示している。 | |||
<br> | |||
例: 日本語文書の文字出現頻度分析の場合<br> | |||
* ある十分長い文書での「あ」の出現頻度（時間平均） | |||
* 多数の文書での「あ」の出現確率（空間平均） | |||
<br> | |||
これらが一致することを利用して、文字コードの効率的な設計が可能となる。<br> | |||
<br> | |||
上記の例から、エルゴード情報源の重要な特徴は、長時間の観測 (時間平均) と多数のサンプルの観測 (空間平均) が同じ結果をもたらすという点にある。<br> | |||
<br><br> | <br><br> | ||