残差平方和と総平方和の違い

2024年6月8日

残差平方和（Residual Sum of Squares、RSS）と総平方和（Total Sum of Squares、TSS）は、回帰分析において用いられる2つの異なる概念です。

1. 残差平方和（RSS）:

   • 残差平方和は、回帰モデルの予測値と実際の観測値の間の差の二乗の総和です。
   • 残差平方和は、モデルがデータをどの程度説明できていないかを示す指標として用いられます。
   • 式で表すと、$RSS = sum_{i=1}^{n} (y_i – hat{y}_i)^2$RSS=∑i=1n(yi－y^i)2
   • $n$n はサンプルの数、$y_i$yi は実際の値、$hat{y}_i$y^i はモデルによる予測値です。

2. 総平方和（TSS）:

   • 総平方和は、全てのデータポイントとデータセット全体の平均値との間の差の二乗の総和です。
   • 総平方和は、データ全体のばらつきの総量を示します。
   • 式で表すと、$TSS = sum_{i=1}^{n} (y_i – bar{y})^2$TSS=∑i=1n(yi－y)2
   • $n$n はサンプルの数、$y_i$yi は各データポイントの値、$bar{y}$y はデータセット全体の平均値です。

残差平方和はモデルの誤差を評価し、総平方和はデータ全体のばらつきを示すため、これら2つの概念は異なる目的で使用されます。また、残差平方和と総平方和の差は、モデルによって説明されている変動（回帰平方和）を示す回帰平方和（ESS）と関連して、以下のように定義されます：$TSS = ESS + RSS$TSS=ESS+RSS