最小二乗法と線形方程式

Linear least squares - Wikipedia
簡潔に説明してあった。日本語版でもチラｯと触れられているが、ちょっとわかりにくかった。
これならLAPACKのマニュアルに、優決定系と劣決定系が登場するわけだ、と納得できる。

方程式 Ax=b において、劣決定系、つまり変数の数（列数n）が式の数（行数m）に対して多い場合、解を定めることはできず、n-m個の従属変数媒介変数が出てくる。この時、ノルムを最小化して解を1つに定めるのが、最小ノルム問題。
一方、優決定系、つまり変数の数（列数n）が式の数（行数m）に対して少ない場合、もし線形従属な式が含まれていて、m<=nとなれば解が存在できるが、一般には解なしとなる。そこで、係数行列Aがある程度の誤差を含むと見なし、m=nとなるように適切な線形従属性を持った「真のA」が存在すると仮定し、その時の x を求めるのに最小二乗法を使おう、というお話。わかってみれば単純な話だった。