第4回 - 2変数の回帰分析

概要

記述統計において、2変数間の相関がある時、
一方の変数xから他方の変数yの関係式を求める方法である回帰分析を学習する。

回帰分析とは

N個のデータの組x₁、y₁、...、x_N、y_Nについて、
直線モデル(回帰直線) 構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle y = ax + b} を当てはめて、データの分布を表す直線を計算することである。

これは、直線の傾きaと切片bを変化させて決める。

2変数間の相関係数r_xyの絶対値が大きい場合に有効である。

構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle a = \frac{\mbox{x と y の 共 分 散 }}{\mbox{x の 母 分 散 }}}
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle b = \bar{y} - a \bar{x}}

以上のことから、回帰直線は次式となる。
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \begin{align} \hat{y} &= ax + b \\ &= ax + \bar{y} - a \bar{x} \\ &= a(x - \bar{x}) + \bar{y} \end{align} }

回帰分析の使い道

• 回帰直線を使用して、yの推定に利用する。

  構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \hat{y} = ax + b = a(x - \bar{x}) + \bar{y}}

  
  

• 代入するxの値には注意が必要である。
  • 内挿 (問題なし)

    構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \mbox{元 デ ー タ の 最 小 x} \leqq \mbox{代 入 す る x} \leqq \mbox{元 デ ー タ の 最 大 x}}

  • 外挿 (問題あり : 範囲外での推定精度は保証できないため)

    構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \mbox{代 入 す る x} \leqq \mbox{元 デ ー タ の 最 小 x}}

    または

    構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \mbox{元 デ ー タ の 最 大 x} \leqq \mbox{代 入 す る x}}

    
    

    ただし、外挿しても問題ない場合もあるため、推定結果が妥当かどうかを常に考えることが重要である。

回帰分析の推定精度

回帰分析の推定精度を表すには、寄与率R²を用いる。
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle R^2 = 1 - \frac{S_e}{\sum_{i=1}^N {(y_i - \bar{y})^2}}}

• 寄与率R²は、0〜1の範囲にあり、回帰直線の精度が高いほど寄与率は1に近づく。
• 相関係数r_xyの2乗が寄与率R²に等しい。
  $R^{2}=(r_{xy})^{2}={\mbox{( 相 関 係 数 )}}^{2}$

回帰分析の原理

N個のデータの組(x₁, y₁)、...、(x_N, y_N)について、直線モデル(回帰直線)${\hat {y}}=ax+b$を当てはめる時、
実際には誤差があるため、元の値y_iと回帰直線の式で推定した値 ${\hat {y_{i}}}=ax_{i}+b$の差が最小になるようにしなくてはならない。

真値との誤差の2乗 $\epsilon _{i}^{2}=(y_{i}-y_{i})^{2}$ の総和が最小になれば、直線モデル(回帰直線)が最良になる。

元の値yiと回帰直線で推定した値 $y_{i}=ax_{i}+b$ の差(誤差 $\epsilon _{i}^{2}=y_{i}-{\hat {y_{i}}})$ が最小になるようにするには、
全データの誤差の2乗($\epsilon _{i}^{2}=(y_{i}-{\hat {y_{i}}})^{2}$)の和が最小になるように、直線の傾きaと切片bを決める。

これを、最小2乗法と呼ぶ。
${\begin{aligned}S_{e}&=\sum _{i=1}^{N}{\epsilon _{i}^{2}}\\&=\sum _{i=1}^{N}{(y_{i}-{\hat {y_{i}}})^{2}}\\&=\sum _{i=1}^{N}{\{y_{i}-(ax_{i}+b)\}}^{2}\end{aligned}}$

全データ組の誤差の2乗和Seを最小にする回帰係数a、bを求める。
${\begin{aligned}S_{e}&=\sum _{i=1}^{N}{(y_{i}-{\hat {y_{i}}})^{2}}\\&=\sum _{i=1}^{N}{\{y_{i}-(ax_{i}+b)\}^{2}}\end{aligned}}$

上記の回帰係数を求めるには、Seの偏微分の結果が0となる鞍点を求める。
${\begin{aligned}{\frac {\partial S_{e}}{\partial a}}&=2\cdot \sum _{i=1}^{N}\{y_{i}-(ax_{i}+b)\}\cdot (-x_{i})\\&=0\end{aligned}}$

${\begin{aligned}{\frac {\partial S_{e}}{\partial b}}&=2\cdot \sum _{i=1}^{N}\{y_{i}-(ax_{i}+b)\}\cdot (-1)\\&=0\end{aligned}}$

上記の2式を整理して次式とする。
これらを、正規方程式と呼ぶ。
$\sum _{i=1}^{N}{y_{i}-a}\cdot \sum _{i=1}^{N}{x_{i}-b}\cdot N=0$ … (1)
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \sum_{i=1}^N {x_i y_i} - a \sum_{i=1}^N {x_{i}^{2}} - b \sum_{i=1}^N {x_i} = 0} … (2)

上式を全データ組Nで除算する。
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \begin{align} b &= \frac{1}{N} \sum_{i=1}^N {y_i} - a \frac{1}{N} \sum_{i=1}^N {x_i} \\ &= \bar{y} - a \bar{x} \end{align} }

したがって、回帰直線の切片bは、傾きa、xの平均、yの平均で求めることができる。

構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle b = \bar{y} - a \bar{x}} を下式に代入する。
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \sum_{i=1}^N {x_i y_i} - a \sum_{i=1}^N {x_{i}^{2}} - (\bar{y} - a \bar{x}) \sum_{i=1}^N {x_i} = 0}
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \begin{align} a \left ( \sum_{i=1}^N {x_{i}^{2}} - N \bar{x}^{2} \right ) &= \left ( \sum_{i=1}^N {x_i - y_i} - N \bar{x} \bar{y} \right ) \\ a \sum_{i=1}^N {(x_i - \bar{x})^{2}} &= \sum_{i=1}^N {(x_i - \bar{x})(y_i - \bar{y})} \\ a &= \frac{\sum_{i=1}^N {(x_i - \bar{x})(y_i - \bar{y})}}{\sum_{i=1}^N {(x_i - \bar{x})^{2}}} \\ &= \frac{C_{xy}}{\sigma_{x}^{2}} \\ &= \frac{\mbox{x と y の 共 分 散 }}{\mbox{x の 母 分 散 }} \end{align} }

全データ組の誤差の2乗和Seが最小になる回帰係数は、
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle a = \frac{\mbox{x と y の 共 分 散 }}{\mbox{x の 母 分 散 }}}
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle b = \bar{y} - a \bar{x}}

したがって、回帰直線は全データ組の平均値xとyを通る。
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \begin{align} \hat{y} &= ax + b \\ &= ax + \bar{y} - a \bar{x} \\ &= a(x - \bar{x}) + \bar{y} \end{align} }

最小となったSeの値は、次式となる。
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \begin{align} S_e &= \sum_{i=1}^N {y_i - (a x_i + b)}^{2} \\ &= \sum_{i=1}^N {(y_i - \bar{y})^{2}} - a \sum_{i=1}^N {(x_i - \bar{x})(y_i - \bar{y})} \end{align} }