単回帰分析

心理学データ解析法 第8章

Soichi Matsuura https://so-ichi.com/ (Ritsumeikan University)http://www.ritsumei.ac.jp/
2019-11-19

回帰分析

男性の教育年数と職業威信の関連を見てみる。

最小二乗法

回帰式を求める推定方法の1つである最小自乗法(ordinary least squares, OLS)は,個体\(i\)について,\(x_i\)の値から得られる予測値\(\hat y_i\) \(( = a + b x_i)\)と実際の値\(y_i\)の差を示す回帰の残差\(e_i\)の2乗の合計値\(\sum e_i^2\)を最小にする\(a\)\(b\)を推定する。

\[ Q = \sum _{i=1}^n e_i^2 = \sum _{i=1}^n (y_i - \hat y_i)^2 = \sum _{i=1}^{n} (y_i - (a + b x_i))^2 \]

回帰分析では,誤差項\(e_i\)に次の4つの仮定をおいて\(a\)\(b\)を推定する。

  1. \(\mathrm{E}(\varepsilon _i)=0.\)
  2. \(\mathrm{Var} (\varepsilon _i) = \mathrm{Var} (\varepsilon _j) \sigma ^2\)
  3. \(\mathrm{Cov} (\varepsilon _i, \varepsilon _j) = 0.\)
  4. \(\varepsilon_i \sim N(0,\sigma^2)\)