第4回 - 2変数の回帰分析

📢 Webサイト閉鎖と移転のお知らせ

このWebサイトは2026年9月に閉鎖いたします。

移転先はhttps://mochiu.net/index.php?title=第4回 - 2変数の回帰分析です。

新しい記事は移転先で追加しております。（旧サイトでは記事を追加しておりません）

概要

記述統計において、2変数間の相関がある時、
一方の変数xから他方の変数yの関係式を求める方法である回帰分析を学習する。

回帰分析とは

N個のデータの組x₁、y₁、...、x_N、y_Nについて、
直線モデル(回帰直線) 構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle y = ax + b} を当てはめて、データの分布を表す直線を計算することである。

これは、直線の傾きaと切片bを変化させて決める。

2変数間の相関係数r_xyの絶対値が大きい場合に有効である。

構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle a = \frac{\mbox{x と y の共分散 }}{\mbox{x の母分散 }}}
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle b = \bar{y} - a \bar{x}}

以上のことから、回帰直線は次式となる。
${\begin{aligned}{\hat {y}}&=ax+b\\&=ax+{\bar {y}}-a{\bar {x}}\\&=a(x-{\bar {x}})+{\bar {y}}\end{aligned}}$

回帰分析の使い道

回帰直線を使用して、yの推定に利用する。
${\hat {y}}=ax+b=a(x-{\bar {x}})+{\bar {y}}$
代入するxの値には注意が必要である。
- 内挿 (問題なし)
  ${\mbox{元データの最小 x}}\leqq {\mbox{代入する x}}\leqq {\mbox{元データの最大 x}}$
- 外挿 (問題あり : 範囲外での推定精度は保証できないため)
  ${\mbox{代入する x}}\leqq {\mbox{元データの最小 x}}$
  
  または
  
  ${\mbox{元データの最大 x}}\leqq {\mbox{代入する x}}$
  
  ただし、外挿しても問題ない場合もあるため、推定結果が妥当かどうかを常に考えることが重要である。

回帰分析の推定精度

回帰分析の推定精度を表すには、寄与率R²を用いる。
$R^{2}=1-{\frac {S_{e}}{\sum _{i=1}^{N}{(y_{i}-{\bar {y}})^{2}}}}$

寄与率R²は、0〜1の範囲にあり、回帰直線の精度が高いほど寄与率は1に近づく。
相関係数r_xyの2乗が寄与率R²に等しい。
$R^{2}=(r_{xy})^{2}={\mbox{( 相関係数 )}}^{2}$

回帰分析の原理

N個のデータの組(x₁, y₁)、...、(x_N, y_N)について、直線モデル(回帰直線) ${\hat {y}}=ax+b$ を当てはめる時、
実際には誤差があるため、元の値y_iと回帰直線の式で推定した値 ${\hat {y_{i}}}=ax_{i}+b$ の差が最小になるようにしなくてはならない。

真値との誤差の2乗 $\epsilon _{i}^{2}=(y_{i}-y_{i})^{2}$ の総和が最小になれば、直線モデル(回帰直線)が最良になる。

元の値yiと回帰直線で推定した値 $y_{i}=ax_{i}+b$ の差(誤差 $\epsilon _{i}^{2}=y_{i}-{\hat {y_{i}}})$ が最小になるようにするには、
全データの誤差の2乗( $\epsilon _{i}^{2}=(y_{i}-{\hat {y_{i}}})^{2}$ )の和が最小になるように、直線の傾きaと切片bを決める。

これを、最小2乗法と呼ぶ。
${\begin{aligned}S_{e}&=\sum _{i=1}^{N}{\epsilon _{i}^{2}}\\&=\sum _{i=1}^{N}{(y_{i}-{\hat {y_{i}}})^{2}}\\&=\sum _{i=1}^{N}{\{y_{i}-(ax_{i}+b)\}}^{2}\end{aligned}}$

全データ組の誤差の2乗和Seを最小にする回帰係数a、bを求める。
${\begin{aligned}S_{e}&=\sum _{i=1}^{N}{(y_{i}-{\hat {y_{i}}})^{2}}\\&=\sum _{i=1}^{N}{\{y_{i}-(ax_{i}+b)\}^{2}}\end{aligned}}$

上記の回帰係数を求めるには、Seの偏微分の結果が0となる鞍点を求める。
${\begin{aligned}{\frac {\partial S_{e}}{\partial a}}&=2\cdot \sum _{i=1}^{N}\{y_{i}-(ax_{i}+b)\}\cdot (-x_{i})\\&=0\end{aligned}}$

${\begin{aligned}{\frac {\partial S_{e}}{\partial b}}&=2\cdot \sum _{i=1}^{N}\{y_{i}-(ax_{i}+b)\}\cdot (-1)\\&=0\end{aligned}}$

上記の2式を整理して次式とする。
これらを、正規方程式と呼ぶ。
$\sum _{i=1}^{N}{y_{i}-a}\cdot \sum _{i=1}^{N}{x_{i}-b}\cdot N=0$ … (1)
$\sum _{i=1}^{N}{x_{i}y_{i}}-a\sum _{i=1}^{N}{x_{i}^{2}}-b\sum _{i=1}^{N}{x_{i}}=0$ … (2)

上式を全データ組Nで除算する。
${\begin{aligned}b&={\frac {1}{N}}\sum _{i=1}^{N}{y_{i}}-a{\frac {1}{N}}\sum _{i=1}^{N}{x_{i}}\\&={\bar {y}}-a{\bar {x}}\end{aligned}}$

したがって、回帰直線の切片bは、傾きa、xの平均、yの平均で求めることができる。

$b={\bar {y}}-a{\bar {x}}$ を下式に代入する。
$\sum _{i=1}^{N}{x_{i}y_{i}}-a\sum _{i=1}^{N}{x_{i}^{2}}-({\bar {y}}-a{\bar {x}})\sum _{i=1}^{N}{x_{i}}=0$
${\begin{aligned}a\left(\sum _{i=1}^{N}{x_{i}^{2}}-N{\bar {x}}^{2}\right)&=\left(\sum _{i=1}^{N}{x_{i}-y_{i}}-N{\bar {x}}{\bar {y}}\right)\\a\sum _{i=1}^{N}{(x_{i}-{\bar {x}})^{2}}&=\sum _{i=1}^{N}{(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}\\a&={\frac {\sum _{i=1}^{N}{(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}}{\sum _{i=1}^{N}{(x_{i}-{\bar {x}})^{2}}}}\\&={\frac {C_{xy}}{\sigma _{x}^{2}}}\\&={\frac {\mbox{x と y の共分散 }}{\mbox{x の母分散 }}}\end{aligned}}$

全データ組の誤差の2乗和Seが最小になる回帰係数は、
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle a = \frac{\mbox{x と y の共分散 }}{\mbox{x の母分散 }}}
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle b = \bar{y} - a \bar{x}}

したがって、回帰直線は全データ組の平均値xとyを通る。
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \begin{align} \hat{y} &= ax + b \\ &= ax + \bar{y} - a \bar{x} \\ &= a(x - \bar{x}) + \bar{y} \end{align} }

最小となったSeの値は、次式となる。
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \begin{align} S_e &= \sum_{i=1}^N {y_i - (a x_i + b)}^{2} \\ &= \sum_{i=1}^N {(y_i - \bar{y})^{2}} - a \sum_{i=1}^N {(x_i - \bar{x})(y_i - \bar{y})} \end{align} }