第4回 - 2変数の回帰分析

概要

記述統計において、2変数間の相関がある時、
一方の変数xから他方の変数yの関係式を求める方法である回帰分析を学習する。

回帰分析とは

N個のデータの組x₁、y₁、...、x_N、y_Nについて、
直線モデル(回帰直線) $y=ax+b$を当てはめて、データの分布を表す直線を計算することである。

これは、直線の傾きaと切片bを変化させて決める。

2変数間の相関係数r_xyの絶対値が大きい場合に有効である。

$a={\frac {\mbox{x と y の 共 分 散 }}{\mbox{x の 母 分 散 }}}$
$b={\bar {y}}-a{\bar {x}}$

以上のことから、回帰直線は次式となる。
${\begin{aligned}{\hat {y}}&=ax+b\\&=ax+{\bar {y}}-a{\bar {x}}\\&=a(x-{\bar {x}})+{\bar {y}}\end{aligned}}$

回帰分析の使い道

• 回帰直線を使用して、yの推定に利用する。

  構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \hat{y} = ax + b = a(x - \bar{x}) + \bar{y}}

  
  

• 代入するxの値には注意が必要である。
  • 内挿 (問題なし)

    構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \mbox{元 デ ー タ の 最 小 x} \leqq \mbox{代 入 す る x} \leqq \mbox{元 デ ー タ の 最 大 x}}

  • 外挿 (問題あり : 範囲外での推定精度は保証できないため)

    構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \mbox{代 入 す る x} \leqq \mbox{元 デ ー タ の 最 小 x}}

    または

    構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \mbox{元 デ ー タ の 最 大 x} \leqq \mbox{代 入 す る x}}

    
    

    ただし、外挿しても問題ない場合もあるため、推定結果が妥当かどうかを常に考えることが重要である。

回帰分析の推定精度

回帰分析の推定精度を表すには、寄与率R²を用いる。
構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle R^2 = 1 - \frac{S_e}{\sum_{i=1}^N {(y_i - \bar{y})^2}}}

• 寄与率R²は、0〜1の範囲にあり、回帰直線の精度が高いほど寄与率は1に近づく。
• 相関係数r_xyの2乗が寄与率R²に等しい。
  構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle R^2 = (r_{xy})^{2} = \mbox{( 相 関 係 数 )}^{2}}

回帰分析の原理

N個のデータの組(x₁, y₁)、...、(x_N, y_N)について、直線モデル(回帰直線)構文解析に失敗 (SVG (ブラウザーのプラグインで MathML を有効にできます): サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \hat{y} = ax + b} を当てはめる時、
実際には誤差があるため、元の値y_iと回帰直線の式で推定した値 ${\hat {y_{i}}}=ax_{i}+b$の差が最小になるようにしなくてはならない。

真値との誤差の2乗 $\epsilon _{i}^{2}=(y_{i}-y_{i})^{2}$ の総和が最小になれば、直線モデル(回帰直線)が最良になる。

元の値yiと回帰直線で推定した値 $y_{i}=ax_{i}+b$ の差(誤差 $\epsilon _{i}^{2}=y_{i}-{\hat {y_{i}}})$ が最小になるようにするには、
全データの誤差の2乗($\epsilon _{i}^{2}=(y_{i}-{\hat {y_{i}}})^{2}$)の和が最小になるように、直線の傾きaと切片bを決める。

これを、最小2乗法と呼ぶ。
${\begin{aligned}S_{e}&=\sum _{i=1}^{N}{\epsilon _{i}^{2}}\\&=\sum _{i=1}^{N}{(y_{i}-{\hat {y_{i}}})^{2}}\\&=\sum _{i=1}^{N}{\{y_{i}-(ax_{i}+b)\}}^{2}\end{aligned}}$

全データ組の誤差の2乗和Seを最小にする回帰係数a、bを求める。
${\begin{aligned}S_{e}&=\sum _{i=1}^{N}{(y_{i}-{\hat {y_{i}}})^{2}}\\&=\sum _{i=1}^{N}{\{y_{i}-(ax_{i}+b)\}^{2}}\end{aligned}}$

上記の回帰係数を求めるには、Seの偏微分の結果が0となる鞍点を求める。
${\begin{aligned}{\frac {\partial S_{e}}{\partial a}}&=2\cdot \sum _{i=1}^{N}\{y_{i}-(ax_{i}+b)\}\cdot (-x_{i})\\&=0\end{aligned}}$

${\begin{aligned}{\frac {\partial S_{e}}{\partial b}}&=2\cdot \sum _{i=1}^{N}\{y_{i}-(ax_{i}+b)\}\cdot (-1)\\&=0\end{aligned}}$

上記の2式を整理して次式とする。
これらを、正規方程式と呼ぶ。
$\sum _{i=1}^{N}{y_{i}-a}\cdot \sum _{i=1}^{N}{x_{i}-b}\cdot N=0$ … (1)
$\sum _{i=1}^{N}{x_{i}y_{i}}-a\sum _{i=1}^{N}{x_{i}^{2}}-b\sum _{i=1}^{N}{x_{i}}=0$ … (2)

上式を全データ組Nで除算する。
${\begin{aligned}b&={\frac {1}{N}}\sum _{i=1}^{N}{y_{i}}-a{\frac {1}{N}}\sum _{i=1}^{N}{x_{i}}\\&={\bar {y}}-a{\bar {x}}\end{aligned}}$

したがって、回帰直線の切片bは、傾きa、xの平均、yの平均で求めることができる。

$b={\bar {y}}-a{\bar {x}}$ を下式に代入する。
$\sum _{i=1}^{N}{x_{i}y_{i}}-a\sum _{i=1}^{N}{x_{i}^{2}}-({\bar {y}}-a{\bar {x}})\sum _{i=1}^{N}{x_{i}}=0$
${\begin{aligned}a\left(\sum _{i=1}^{N}{x_{i}^{2}}-N{\bar {x}}^{2}\right)&=\left(\sum _{i=1}^{N}{x_{i}-y_{i}}-N{\bar {x}}{\bar {y}}\right)\\a\sum _{i=1}^{N}{(x_{i}-{\bar {x}})^{2}}&=\sum _{i=1}^{N}{(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}\\a&={\frac {\sum _{i=1}^{N}{(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}}{\sum _{i=1}^{N}{(x_{i}-{\bar {x}})^{2}}}}\\&={\frac {C_{xy}}{\sigma _{x}^{2}}}\\&={\frac {\mbox{x と y の 共 分 散 }}{\mbox{x の 母 分 散 }}}\end{aligned}}$

全データ組の誤差の2乗和Seが最小になる回帰係数は、
$a={\frac {\mbox{x と y の 共 分 散 }}{\mbox{x の 母 分 散 }}}$
$b={\bar {y}}-a{\bar {x}}$

したがって、回帰直線は全データ組の平均値xとyを通る。
${\begin{aligned}{\hat {y}}&=ax+b\\&=ax+{\bar {y}}-a{\bar {x}}\\&=a(x-{\bar {x}})+{\bar {y}}\end{aligned}}$

最小となったSeの値は、次式となる。
${\begin{aligned}S_{e}&=\sum _{i=1}^{N}{y_{i}-(ax_{i}+b)}^{2}\\&=\sum _{i=1}^{N}{(y_{i}-{\bar {y}})^{2}}-a\sum _{i=1}^{N}{(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}\end{aligned}}$