统计学习方法之逻辑斯蒂回归

首先，有逻辑斯蒂分布，及其概率密度函数

-> 二项逻辑斯蒂回归模型

将u及常数γ换为w*x+b形式（当y = 0 时）

二项事件概率为p
则几率为可能发生与不可能发生的比值：p/(1-p)

逻辑斯蒂回归中，输入x对y=1的几率的对数是x的线性函数

可用似然函数估计逻辑斯蒂模型参数

概率描述了已知参数时的随机变量的输出结果；似然则用来描述已知随机变量输出结果时，未知参数的可能取值。例如，对于“一枚正反对称的硬币上抛十次”这种事件，我们可以问硬币落地时十次都是正面向上的“概率”是多少；而对于“一枚硬币上抛十次”，我们则可以问，这枚硬币正反面对称的“似然”程度是多少。

似然函数https://baike.baidu.com/item/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0/6011241?fr=aladdin

似然函数就是得到这个样本的概率，由于每次抽样独立，所以把这几个概率乘起来就是得到这个样本的概率了，也就是似然函数

似然函数的主要用法在于比较它相对取值，虽然这个数值本身不具备任何含义。例如，考虑一组样本，当其输出固定时，这组样本的某个未知参数往往会倾向于等于某个特定值，而不是随便的其他数，此时，似然函数是最大化的。

统计学习方法 统计学习 方法 学习 回归 统计学