最小二乗問題

「モデル式のパラメータを、実験値との誤差が最小になるように決定する」のが最小二乗法……と、よく説明される。
パラメータは含むけど、単純なモデル式なんて無くて、真の解が原理的に計算できず反復計算に頼る他ないような場合にはどーするんだ、と常々思っていた。
ところが、連立方程式の反復解法などの文脈で「最小二乗問題」を扱うことがあるようだ。
連立一次方程式 Ax=b において、というN次元空間をクリロフ部分空間 - Wikipedia(Krylov subspace)といい、これを利用した反復解法がいくつかあるらしく、これらは各ステップで最小二乗問題を解くことにより、反復して解を求めるようだ。

ここで最小二乗問題が登場する理由はなんだろう。収束する解を理論値に、現在の解候補を実験値に、それぞれ対応させられる、とか？