机器学习常用模型算法.md

对于初次接触机器学习这么高大上的同学，都充满了激情，相比数据挖掘，其更侧重算法。常用的模型还是很多重合的

先列下常用的机器学习模型吧：
1.逻辑回归（LR模型）
2.K-最近邻模型
3.朴素贝叶斯模型
4.决策树相关模型（C4.5，CRAT，boosting Tree,RF)
5.支持向量机（SVM）
6.神经网络模型（深度学习）

常用的最优化算法：

1，梯度下降 算法   
2，牛顿迭代算法和拟牛顿迭代算法
 3 ，对偶算法

简单的回归模型公式为：y=wx （1） ，其中w为参数，x为变量，y为目标变量。我们有了样本xi,yi(i=1,...,m)，转为求解其中的参数。可以通过最小二乘法得到其结果。 而如果y是0-1变量，对上面做一些改动，f(y)=wx ,其中f=log(y/(1-y)), 也即y=e(wx)/(1+e(wx)) 。 y可以看着对wx做了一个logist变换 写成概率分布形式 P(y=1|x)=e(wx)/(1+e(wx)) P(y=0|x)=1/(1+e(wx)) （2）

LR应该是最简单的分类模型，也是应用最广的分类模型了。下面就是针对其参数的求解
我们有LR的似然函数 L(w,x,y)=P(y=1|x)^y*P(y=0|x)^(1-y)
                对数似然函数 l(w,x,y)=y*P(y=1|x)+(1-y)p(y=0|x)=y*e(wx)/(1+e(wx))+(1-y)*1/(1+e(wx)) 
                求导数