情報技術 - 実効アクセス時間

概要

実効アクセス時間 (実効メモリアクセス時間) は、コンピュータシステムにおけるメモリアクセスの実際の所要時間を表す指標である。
この時間は、単純なメモリアクセス時間だけでなく、キャッシュメモリの効果も考慮に入れて計算する。

キャッシュメモリへのアクセス時間は、数[ns]程度である。
主記憶装置のアクセス時間はは、数十〜数百[ns]掛かることがある。

実効アクセス時間を改善するためには、キャッシュメモリのヒット率の向上が挙げられる。
これは、適切なキャッシュサイズの設定、効率的なキャッシュ置換アルゴリズムの採用、プログラムの局所性を考慮したコーディングにより達成できる。

また、マルチレベルキャッシュシステムでは、各レベルのキャッシュについて実効アクセス時間を考慮する必要がある。
例えば、L1キャッシュ、L2キャッシュ、L3キャッシュが存在する場合、各レベルでのヒット率とアクセス時間が全体の実効アクセス時間に影響を与える。

システム設計者にとって、実効アクセス時間の最適化は重要である。
これは、ハードウェア面での改善 (高速なキャッシュメモリの採用、キャッシュサイズの最適化等) と ソフトウェア面での最適化 (効率的なメモリアクセスパターンの実装、プリフェッチの活用等) の両方が必要となる。

キャッシュメモリ

キャッシュメモリは、現代のコンピュータアーキテクチャにおいて極めて重要な役割がある。

CPUの処理速度は非常に高速であるが、主記憶装置 (RAM) はそれに比べてかなり遅いという性能差がある。
この速度のギャップを埋めるために、CPUと主記憶装置の間にキャッシュメモリが配置されている。

キャッシュメモリの特徴

キャッシュメモリの特徴として、SRAMという高速なメモリ技術を使用していることが挙げられる。

SRAMはDRAMと比較して、データの読み書きが数倍から数十倍も高速である。
ただし、製造コストが高く、集積度も低いため、容量は主記憶装置よりもはるかに小さい。

キャッシュメモリの動作原理

キャッシュメモリの動作原理は、局所性の原理に基づいている。

まず、プログラムが実行される時、近い将来に使用される可能性が高いデータやプログラムコードを予測して、事前にキャッシュメモリに読み込む。
これには、時間的局所性と空間的局所性という2つの重要な概念がある。

• 時間的局所性

  最近使用したデータは近い将来にも使用される可能性が高い。

• 空間的局所性

  現在使用しているデータの近くにあるデータも使用される可能性が高い。

現代のプロセッサでは、通常複数レベルのキャッシュメモリが実装されている。
L1キャッシュは最もCPUに近く最も高速であるが容量は小さく、L2キャッシュ、L3キャッシュと階層が下がるにつれて容量は大きくなるが速度は遅くなる。

この階層構造により、効率的なデータアクセスが実現されている。

キャッシュメモリの物理的な配置

現代のプロセッサでは、キャッシュメモリは階層構造で実装されており、その配置場所はレベルによって異なる。

L1キャッシュは、CPUのコア内部に直接組み込まれている。
これは最も高速なキャッシュであり、命令用 (L1-I) と データ用 (L1-D) に分かれている。
L1キャッシュは、CPUコアと物理的に最も近い位置にあるため、アクセス速度は極めて高速である。

L2キャッシュは、一般的にCPUコアごとに専用のキャッシュとして実装されている。
これは、L1キャッシュよりも大きな容量を持つが、物理的な距離が少し離れているため、アクセス速度はL1よりも若干遅くなる。

L3キャッシュ (ラストレベルキャッシュとも呼ばれる) は、CPU内の全コアで共有されるキャッシュとして実装されている。
これは最も大きな容量を持つが、全コアからアクセスする必要があるため、L1やL2と比較すると速度は遅くなる。

※注意 : L4キャッシュ
ただし、一部のシステムでは、L4キャッシュがCPUパッケージの外部に実装されているケースもある。
これは特別な高速メモリチップとして実装されており、CPUと主記憶装置の間に配置される。

キャッシュヒット / ミス

CPUが必要とするデータがキャッシュメモリ内に存在する場合をキャッシュヒット、存在しない場合をキャッシュミスと呼ぶ。

キャッシュミスが発生する時、より下位の階層からデータを取得する必要があり、これが処理の遅延につながる。
そのため、キャッシュヒット率を高く保つことがシステム全体の性能向上に大きく寄与する。

データ読み出しの流れ

キャッシュメモリをCPUと主記憶装置の間に配置することにより、CPUがデータを読み出す時の動作は以下に示すようになる。

1. CPUが主記憶装置から読み込むデータは、キャッシュメモリにも同時に保持される。
2. 次の同じデータをCPUが読み込む時は、高速で動作するキャッシュメモリからデータを読み出しする。

データ書き込みの流れ

CPUがデータを主記憶装置に書き込む時は、以下に示すような2種類がある。

• ライトスルー方式

  キャッシュメモリにデータを書き込む時に主記憶装置にも同じデータを書き込む

  これにより、データの一貫性が保持される。

  
  

• ライトバック方式

  普段はキャッシュメモリのみにデータを書き込み、キャッシュメモリが一杯になる場合は主記憶装置に書き出す。

  この方式は処理が速くなるが、制御が煩雑になる。

実効アクセス時間 (実効メモリアクセス時間)

実効アクセス時間 (実効メモリアクセス時間) は、CPUがデータにアクセスする際の平均的な所要時間を表す指標である。
この時間は、キャッシュメモリと主記憶装置の両方へのアクセスを考慮して計算する。

計算式は次式のようになる。<bt>

実効アクセス時間 = (キャッシュアクセス時間 x ヒット率) + (主記憶アクセス時間 x (1 - ヒット率))

例: 
キャッシュメモリのアクセス時間: 10[ns]
主記憶装置のアクセス時間 : 100[ns]
ヒット率 : 0.9 (90%)

実効アクセス時間:
$10\times 0.9+100\times (1-0.9)=9+10=19[ns]$

ヒット率を向上させるために、キャッシュメモリには様々な工夫が施されており、
時間的局所性と空間的局所性の原理に基づき、キャッシュメモリへのデータの配置が最適化されている。

また、キャッシュミス (必要なデータがキャッシュメモリに存在しない状態) が発生した場合、主記憶装置からデータを読み込む必要がある。
このミスによる遅延を最小限に抑えるため、現代のプロセッサでは複数レベルのキャッシュ階層が実装されており、各レベルで異なるサイズと速度特性を持っている。

実効アクセス時間を改善するための主要な方法として、キャッシュのプリフェッチ (先読み) 機能の活用がある。
これは、プログラムの実行パターンを予測して、必要になる可能性の高いデータを事前にキャッシュメモリに読み込んでおく技術である。

また、キャッシュの置換アルゴリズムの最適化やキャッシュラインサイズの適切な設定等も、実効アクセス時間の改善に貢献する。