IRLS

最优化算法/IRLS.md

@@ -1,10 +1,15 @@
 # 迭代再加权最小二乘
 
+## 原理
+
   迭代再加权最小二乘(`IRLS`)用于解决特定的最优化问题，这个最优化问题的目标函数如下所示：
 
 $$arg min_{\beta} \sum_{i=1}^{n}|y_{i} - f_{i}(\beta)|^{p}$$
 
   这个目标函数可以通过迭代的方法求解。在每次迭代中，解决一个带权最小二乘问题，形式如下：
 
-$$\beta ^{t+1} = argmin_{\beta} \sum_{i=1}^{n} w_{i}(\beta^{(t)}))|y_{i} - f_{i}(\beta)|^{2}$$
+$$\beta ^{t+1} = argmin_{\beta} \sum_{i=1}^{n} w_{i}(\beta^{(t)}))|y_{i} - f_{i}(\beta)|^{2} = (X^{T}W^{(t)}X)^{-1}X^{T}W^{(t)}y$$
+
+  在这个公式中，$W^{(t)}$是权重对角矩阵，它的所有元素都初始化为1。每次迭代中，通过下面的公式更新。
 
+$$W_{i}^{(t)} = |y_{i} - X_{i}\beta^{(t)}|^{p-2}$$