diff --git "a/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/L-BFGS/imgs/2.28.png" "b/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/L-BFGS/imgs/2.28.png" new file mode 100644 index 0000000..4a79bd8 Binary files /dev/null and "b/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/L-BFGS/imgs/2.28.png" differ diff --git "a/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/L-BFGS/imgs/2.29.png" "b/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/L-BFGS/imgs/2.29.png" new file mode 100644 index 0000000..1086de7 Binary files /dev/null and "b/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/L-BFGS/imgs/2.29.png" differ diff --git "a/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/L-BFGS/imgs/2.30.jpg" "b/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/L-BFGS/imgs/2.30.jpg" new file mode 100644 index 0000000..2614c90 Binary files /dev/null and "b/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/L-BFGS/imgs/2.30.jpg" differ diff --git "a/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/L-BFGS/lbfgs.md" "b/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/L-BFGS/lbfgs.md" index 5827700..74176c2 100644 --- "a/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/L-BFGS/lbfgs.md" +++ "b/\346\234\200\344\274\230\345\214\226\347\256\227\346\263\225/L-BFGS/lbfgs.md" @@ -176,7 +176,7 @@ $$J(x) = l(x) + C ||x||_{2}$$ - 1 次微分   设$f:I\rightarrow R$是一个实变量凸函数，定义在实数轴上的开区间内。这种函数不一定是处处可导的，例如绝对值函数$f(x)=|x|$。但是，从下面的图中可以看出（也可以严格地证明），对于定义域中的任何$x_0$，我们总可以作出一条直线，它通过点($x_0$, $f(x_0)$)，并且要么接触f的图像，要么在它的下方。 -这条直线的斜率称为函数的次导数。 +这条直线的斜率称为函数的次导数。推广到多元函数就叫做次梯度。
2.24

@@ -190,6 +190,21 @@ $$J(x) = l(x) + C ||x||_{2}$$
2.27

+  它们一定存在，且满足$a \leqslant b$。所有次导数的集合$[a, b]$称为函数`f`在$x_0$的次微分。 + +- 2 伪梯度 + +  利用次梯度的概念推广了梯度，定义了一个符合上述原则的伪梯度，求一维搜索的可行方向时用伪梯度来代替`L-BFGS`中的梯度。 + +
2.28

+ +  其中 + +
2.29

+ +
2.30

+ + # 3 源码解析 ## 3.1 BreezeLBFGS