From 4308278547879543fba081ca0f3cf8e8c05e4538 Mon Sep 17 00:00:00 2001 From: endy Date: Wed, 25 Jan 2017 15:58:09 +0800 Subject: [PATCH] IRLS --- .../IRLS.md" | 7 ++++++- 1 file changed, 6 insertions(+), 1 deletion(-) diff --git "a/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/IRLS.md" "b/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/IRLS.md" index e153ed2..3752e92 100644 --- "a/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/IRLS.md" +++ "b/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/IRLS.md" @@ -1,10 +1,15 @@ # 迭代再加权最小二乘 +## 原理 +   迭代再加权最小二乘(`IRLS`)用于解决特定的最优化问题，这个最优化问题的目标函数如下所示： $$arg min_{\beta} \sum_{i=1}^{n}|y_{i} - f_{i}(\beta)|^{p}$$   这个目标函数可以通过迭代的方法求解。在每次迭代中，解决一个带权最小二乘问题，形式如下： -$$\beta ^{t+1} = argmin_{\beta} \sum_{i=1}^{n} w_{i}(\beta^{(t)}))|y_{i} - f_{i}(\beta)|^{2}$$ +$$\beta ^{t+1} = argmin_{\beta} \sum_{i=1}^{n} w_{i}(\beta^{(t)}))|y_{i} - f_{i}(\beta)|^{2} = (X^{T}W^{(t)}X)^{-1}X^{T}W^{(t)}y$$ + +  在这个公式中，$W^{(t)}$是权重对角矩阵，它的所有元素都初始化为1。每次迭代中，通过下面的公式更新。 +$$W_{i}^{(t)} = |y_{i} - X_{i}\beta^{(t)}|^{p-2}$$