极大似然估计与贝叶斯估计

写在前面

本文总结了极大似然估计贝叶斯估计两种参数估计方式。

极大似然估计与贝叶斯估计是统计中两种对模型的参数确定的方法,两种参数估计方法使用不同的思想。

前者来自于频率派,认为参数是固定的,我们要做的事情就是根据已经掌握的数据来估计这个参数;而后者属于贝叶斯派,认为参数也是服从某种概率分布的,已有的数据只是在这种参数的分布下产生的。

主要参考极大似然估计与贝叶斯估计

目的

所谓参数估计,即在当前数据集下,找到一个概率最大的参数即可,即
$$
arg \ \max \limits_{\theta}p(\theta|D) = arg \ \max \limits_{\theta}\frac{p(D|\theta)p(\theta)}{p(D)} \tag{1}
$$

引例

假设一个抛硬币实验,进行了3次得到三组数据{正正反},设数据集$D= {x_1,x_2,x_3}={1,1,0}$。假设正面的概率为$\rho$,反面向上概率$1-\rho$,即$\theta=\rho$。

极大似然估计

由于极大似然估计属于频率派,即认为参数$\theta$是固定存在的,则$p(\theta)$是一个常数,$p(D)=\rho\times\rho\times(1-\rho)$同样可以由已知数据得到。考虑到每个样本相互独立,于是式$1$即转变为求解
$$
arg \ \max\limits_{\theta}p(D|\theta)=\max \limits_{\theta}\prod_{i=1}^{n}p(x_i|\theta)
$$

贝叶斯估计

对贝叶斯派,参数$\theta$存在自己的分布特性,$p(D)$无法直接从已知数据得到,相应的$p(D|\theta)=\rho\times\rho\times(1-\rho)$。于是对于式$1$
$$
arg \ \max\limits_{\theta}p(D|\theta)=\frac{p(D|\theta)p(\theta)}{\int {p(D|\theta)p(\theta)d\theta}}
$$

本文标题:极大似然估计与贝叶斯估计

文章作者:Lumo Wang

发布时间:2018年03月21日 - 18:03

最后更新:2018年11月07日 - 15:11

原始链接:https://luameows.github.io/2018/03/21/学习笔记-极大似然估计与贝叶斯估计/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

请我喝杯咖啡,我会继续熬夜的~