推导

第一种

$\,\mathrm{Beta}\,$ 分布一般被用于建模伯努利试验事件成功的概率的概率分布. 什么叫做伯努利试验事件成功的概率? 我们来举个例子.

如果有一枚硬币, 分为正反两面 (不一定均匀) , 那么假设你抛了 $\,10\,$ 次, 正面有 $\,7\,$ 次, 那么抛这枚硬币是正面的概率是多少呢? 当然我们一般会说是 $\,7/10\,$ , 但这只是最好的估计. 可能是 $\,1/10\,$ 吗? 当然可能, 但是可能性不高. 这里的 $\,7/10\,$ , $\,1/10\,$ 就是所谓伯努利试验事件成功的概率. 而其服从的分布就是伯努利试验事件成功的概率的概率分布.

二项分布相信大家高中就都已经接触过了

$P(x) = \binom{n}{x}q^x(1-q)^{n-x}$

这是已知参数 $\,n, q\,$ 来估计 $\,x\,$ , 我们同样可以将其等价地写为 $\,P(x\mid q)\,$ . 那如果我们知道了 $\,n,x\,$ , 要如何估计 $\,q\,$ 呢? 也就是如何求出 $\,P(q\mid x)\,$ (省略了 $\,n\,$ 是为了方便写公式, 毕竟两个条件概率都是已知 $\,n\,$ 的) .

根据贝叶斯公式, 我们有

$P(q\mid x) = \frac{P(x\mid q)P(q)}{P(x)}$

其中 $\,P(x)\,$ 是常量 (因为我们已知 $\,x\,$ ) . 而 $\,P(q)\,$ 是多少呢? $\,P(q)\,$ 被称为先验分布, 在我们对某一随机变量一无所知的时候, 一般可以认为它服从均匀分布. 那么, 就有

$p(q\mid x)\propto P(q\mid x)\propto P(x\mid q)\propto q^x(1-q)^{n-x}$

其中 $\,p(q\mid x)\,$ 为随机变量 $\,Q\,$ 的概率密度函数, 概率密度函数需要满足在定义域内积分为 $\,1\,$ . 我们乘上常数 $\,k\,$ , 使其满足这个性质.

$p(q\mid x) = kq^x(1-q)^{n-x}\\ \begin{aligned} \int_0^1kq^x(1-q)^{n-x}\,\mathrm{d}q = k\int_0^1q^x(1-q)^{n-x}\,\mathrm{d}q &= 1\\ k&=\frac{1}{\int_0^1q^x(1-q)^{n-x}\,\mathrm{d}q} \end{aligned}$

记 $\,x = a, n-x=b, B(a+1,b+1)=k^{-1}\,$ , 也就是说

$B(a,b) = \int_0^1q^{a-1}(1-q)^{b-1}\,\mathrm{d}q$

这个 $\,B(a,b)\,$ 即为 $\,\mathrm{Beta}\,$ 函数, 这即是 $\,\mathrm{Beta}\,$ 函数的由来. 而 $\,\mathrm{Beta}\,$ 分布的概率密度函数则为

$f(q)=\frac{1}{B(a,b)}q^{a-1}(1-q)^{b-1}$

第二种

假设你和我玩一个游戏, 我说

我有一个魔盒, 上面有一个按钮. 我每按下一次按钮, 就会均匀的产生一个 $\,[0,1]\,$ 之间的随机数. 现在我连按 $\,10\,$ 次, 那么你猜猜, 第 $\,7\,$ 大的数字是多少? 误差不超过 $\,0.01\,$ 就算赢.

用数学语言来描述就是

$\,X_1,X_2\cdots, X_n\mathop{\sim}\limits^{\mathrm{iid}}Uniform(0,1),\,$
把这 $\,n\,$ 个随机变量排序后得到顺序统计量 $\,X_{(1)},X_{(2)},\cdots,X_{(n)},\,$
问 $\,X_{(k)}\,$ 的分布是什么

对上面的游戏而言, $\,n=10,k=7\,$ . 如果我们求出了 $\,X_{(7)}\,$ 的分布, 那么用概率密度的极值点去猜测是最好的策略.

我们尝试计算 $\,X_{(k)}\,$ 落在区间 $\,[x,x+\Delta x]\,$ 的概率 $\,P(x<X_{(k)}<x+\Delta x)\,$ .

把 $\,[0,1]\,$ 区间分为 $\,3\,$ 段, 即 $\,[0,x),[x,x+\Delta x],(x+\Delta x,1]\,$ . 假设 $\,X_{(k)}\,$ 在区间 $\,[x,x+\Delta x]\,$ 中, 我们先考虑一个简单情形:

$\,[x, x+\Delta x]\,$ 中只有一个点

不失一般性, 我们先考虑一个符合上述要求的事件 $\,E\,$ .

$\begin{aligned} E=\{&X_1\in[x,x+\Delta x],\\ &X_i\in[0,x)\;\;\;\;(j=2,\cdots,k),\\ &X_j\in(x+\Delta x,1]\;\;\;\;(i=k+1,\cdots,n)\} \end{aligned}$

则有

$\begin{aligned} P(E)&=\prod_{i=0}^nP(X_i)\\ &=x^{k-1}(1-x-\Delta x)^{n-k}\Delta x\\ &=x^{k-1}(1-x)^{n-k}\Delta x+o(\Delta x) \end{aligned}$

其中 $\,o(\Delta x)\,$ 表示 $\,\Delta x\,$ 的高阶无穷小. 我们来计算一下与 $\,E\,$ 事件等价的事件有多少个. 首先, 在 $\,[x,x+\Delta x]\,$ 中的数一共有 $\,n\,$ 种取法, 然后在 $\,[0, x)\,$ 中的数有 $\,\binom{n-1}{k-1}\,$ 种取法, 而一旦给定前面的数所在的区间, $\,(x+\Delta x,1]\,$ 区间中的数也就给定. 于是一共有 $\,n\binom{n-1}{k-1}\,$ 种情况.

$\,[x, x+\Delta x]\,$ 中有两个点

$\begin{aligned} E'=\{&X_1,X_2\in[x,x+\Delta x],\\ &X_i\in[0,x)\;\;\;\;(j=3,\cdots,k),\\ &X_j\in(x+\Delta x,1]\;\;\;\;(i=k+1,\cdots,n)\} \end{aligned}$

那么就有

$\begin{aligned}P(E')&=\prod_{i=0}^nP(X_i)\\&=x^{k-2}(1-x-\Delta x)^{n-k}(\Delta x)^2\\&=o(\Delta x)\end{aligned}$

也就是说, 在 $\,[x, x+\Delta x]\,$ 中的数字超过 $\,1\,$ 个, 那么概率就是 $\,o(\Delta x)\,$ .

因此 $\,X_{(k)}\,$ 的概率密度函数为

$\begin{aligned} f(x) &= \lim_{\Delta x\rightarrow0}\frac{P(x<X_{(k)}<x+\Delta x)}{\Delta x}\\ &=n\binom{n-1}{k-1}x^{k-1}(1-x)^{n-k}\\ &=\frac{n!}{(k-1)!(n-k)!}x^{k-1}(1-x)^{n-k}\\ &=\frac{\Gamma(n+1)}{\Gamma(k)\Gamma(n-k+1)}x^{k-1}(1-x)^{n-k} \end{aligned}$

令 $\,k=a,n-k+1=b\,$ , 上式可写为

$f(x) = \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}x^{a-1}(1-x)^{b-1}$

下面我们会证明 $\,B(a,b)=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}\,$ , 也就是说

$f(x)=\frac{1}{B(a,b)}x^{a-1}(1-x)^{b-1}$

$\,\frac{1}{B(a,b)}x^{a-1}(1-x)^{b-1}\,$ 即为 $\,Beta\,$ 分布的概率密度函数.

看起来完全不同的两种问题, 居然能推导出完全相同的式子!

Beta 函数与 Gamma 函数的关系

假设向长度为 $\,1\,$ 的桌面丢一颗红球, 设红球与桌面最左边的距离为 $\,x\,$ , 那么随意再丢一颗白球, 在红球左边的概率为 $\,x\,$ . 那么丢 $\,n\,$ 次白球, 其中再红球左边的次数为 $\,k\,$ 次, 那么随机变量 $\,K\,$ 显然服从参数为 $\,n, x\,$ 的二项分布. 即 $\,K\sim Binomial(n,x)\,$ . 那么有

$P(K=k\mid x)=\binom{n}{k}x^k(1-x)^{n-k}$

根据贝叶斯公式, 有

$P(K=k,x) = P(K=k\mid x)P(x)$

由于 $\,P(x)\,$ 是均匀分布. 那么求边缘概率有

$\begin{aligned} P(K=k) &= \sum_{x}P(K=k\mid x)P(x)\\ &=\int_0^1\binom{n}{k}x^k(1-x)^{n-k}\,\mathrm{d}x\\ &=\binom{n}{k}\int_0^1x^k(1-x)^{n-k}\,\mathrm{d}x \end{aligned}$

现在我们换一种方式丢球, 等价的求出 $\,P(K=k)\,$ . 先把 $\,n+1\,$ 个球全部丢出, 然后任选一个球为红球, 那么此时任意一个球被选到的概率都是 $\,1/(n+1)\,$ 因此其左边球的数量为 $\,n\,$ 的概率也都为 $\,1/(n+1)\,$ (每颗球的左边球数量都不同, 而且数量范围在 $\,0\sim n\,$ ) . 因此我们有

$\begin{aligned} \binom{n}{k}\int_0^1x^k(1-x)^{n-k}\,\mathrm{d}x&=\frac{1}{n+1}\\ \int_0^1x^k(1-x)^{n-k}\,\mathrm{d}x&=\frac{k!(n-k)!}{(n+1)!} \end{aligned}$

令 $\,k=a-1,n-k=b-1\,$ , 根据 $\,\mathrm{Gamma}\,$ 函数的定义, 有

$\begin{aligned} \int_0^1x^{a-1}(1-x)^{b-1}\,\mathrm{d}x&=\frac{(a-1)!(b-1)!}{(a+b-1)!}\\ B(a,b)&=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)} \end{aligned}$

Beta-Binomial 共轭

还记得上面的游戏吗? 为了降低难度, 我又说:

我再次按下 $\,5\,$ 次按钮, 然后得到 $\,5\,$ 个 $\,[0,1]\,$ 之间的随机数, 然后我会告诉你这 $\,5\,$ 个数与之前第 $\,7\,$ 大的数字相比, 谁大谁小, 然后你继续猜第 $\,7\,$ 大的数字是多少.

假设这 $\,5\,$ 个数有 $\,3\,$ 个大于第 $\,7\,$ 大的数字, $\,2\,$ 个小于.

实际上, 这个 “降低难度” 的游戏其实是同一个游戏, 把它重新表达一下, 其实和下面这个游戏是等价的:

我有一个魔盒, 上面有一个按钮. 我每按下一次按钮, 就会均匀的产生一个 $\,[0,1]\,$ 之间的随机数. 现在我连按 $\,10+5\,$ 次, 那么你猜猜, 第 $\,7+2\,$ 大的数字是多少? 误差不超过 $\,0.01\,$ 就算赢.

也就是说, 本来 $\,X_{(7)}\,$ 的分布是 $\,Beta(7,10-7+1)\,$ . 给定另外的数据 $\,M_1\sim B(5,X_{(7)}),M_2=5-M_1\,$ (二项分布, $\,M_1\,$ 是小于第 $\,7\,$ 大数字的个数, $\,M_2\,$ 是大于), 那么 $\,X_{(7)}\,$ 的分布就会变成 $\,Beta(7+M_1,10-7+1+M_2)\,$ .

推广至一般情况, 即

$\,X_1,X_2,\cdots,X_n\mathop\sim\limits^{\mathrm{iid}}Uniform(0,1)\,$ , 排序后对应的顺序统计量为 $\,X_{(1)}, X_{(2)},\cdots,X_{(n)}\,$ ,
$\,Y_1,Y_2,\cdots,Y_m\mathop\sim\limits^{\mathrm{iid}}Uniform(0,1)\,$ , 且有 $\,m_1\,$ 个比 $\,X_{(k)}\,$ 大, $\,m_2\,$ 个比 $\,X_{(k)}\,$ 小,
$\,p = X_{(k)}\,$ , 求 $\,P(p\mid Y_1,Y_2,\cdots,Y_m)\,$ 的分布

贝叶斯参数估计的基本过程是

$先验分布+数据的知识=后验分布$

上面第一点其实就是先验分布即 $\,Beta(p\mid k,n-k+1)\,$ , 第二点就是数据的知识 $\,m_1,m_2\,$ ,第三点就是后验分布即 $\,Beta(p\mid k+m_1,n-k+1+m_2)\,$ .

合起来就是

$Beta(p\mid k,n-k+1)+BinomCount(m_1,m_2)=Beta(p\mid k+m_1,n-k+1+m_2)$

同样我们可以写为

$Beta(p\mid a,b)+BinomCount(m_1,m_2)=Beta(p\mid a+m_1,b+m_2)$

这就是所谓 $\,\textbf{Beta-Binomial}\,$ 共轭 .

Dirichlet 分布

$\,\mathrm{Dirichlet}\,$ 分布其实就是多维的 $\,\mathrm{Beta}\,$ 分布. 继续上面的游戏, 我可以说:

我再按 $\,20\,$ 次按钮, 那么你猜猜, 第 $\,7\,$ 大的数字和第 $\,14\,$ 大的数字分别是多少?

按照上面的方式, 转换为数学语言即

$\,X_1,X_2\cdots, X_n\mathop{\sim}\limits^{\mathrm{iid}}Uniform(0,1),\,$
把这 $\,n\,$ 个随机变量排序后得到顺序统计量 $\,X_{(1)},X_{(2)},\cdots,X_{(n)},\,$
问 $\,X_{(k_1)}\,$ 与 $\,X_{(k_1+k_2)}\,$ 的联合分布是什么

同样推导过程, 有

$\begin{aligned}&\,\;\;\;\;P\Big(X_{(k1)}\in (x_1,x_1+\Delta x),X_{(k_1+k_2)}\in(x_2, x_2+\Delta x)\Big)\\&=n(n-1)\binom{n-2}{k_1-1,k_2-1}{x_1}^{k_1-1}{x_2}^{k_2-1}{x_3}^{n-k_2-k_1}(\Delta x)^2\\&=\frac{n!}{(k_1-1)!(k_2-1)!(n-k_1-k_2)!}{x_1}^{k_1-1}{x_2}^{k_2-1}{x_3}^{n-k_2-k_1}(\Delta x)^2\\&=\frac{\Gamma (n+1)}{\Gamma (k_1)\Gamma (k_2)\Gamma (n-k_1-k_2+1)}{x_1}^{k_1-1}{x_2}^{k_2-1}{x_3}^{n-k_2-k_1}(\Delta x)^2\end{aligned}$

因此 $\,X_{(k_1)}\,$ 与 $\,X_{(k_1+k_2)}\,$ 的联合分布为

$f(x_1,x_2,x_3)=\frac{\Gamma (n+1)}{\Gamma (k_1)\Gamma (k_2)\Gamma (n-k_1-k_2+1)}{x_1}^{k_1-1}{x_2}^{k_2-1}{x_3}^{n-k_2-k_1}$

这里其实只有两个变量即 $\,x_1, x_2\,$ , 而 $\,x_3 = 1-x_1-x_2\,$ , 写成三个变量的形式只是为了对称.

令 $\,k_1=\alpha_1,k_2=\alpha_2,n-k_1-k_2+1=\alpha_3\,$ 有

$f(x_1,x_2,x_3)=\frac{\Gamma (\alpha_1+\alpha_2+\alpha_3)}{\Gamma (\alpha_1)\Gamma (\alpha_2)\Gamma (\alpha_3)}{x_1}^{\alpha_1-1}{x_2}^{\alpha_2-1}{x_3}^{\alpha_3-1}$

Dirichlet-Multinomial 共轭

同样的推导, 这里就不细说了, 结果就是

$Dir(\vec p\mid \vec k) + MultCount(\vec m)=Dir(\vec p\mid \vec k+\vec m)$

其中 $\,\vec p=(p_1,p_2,p_3),p_3=1-p_1-p_2\,$ (同样为了更对称) .

当然, 我们还可以继续提高维度, 得到更高维的 $\,\mathrm{Dirichlet}\,$ 分布以及 $\,\mathrm{Dirichlet-Multinomial}\,$ 共轭. 一般形式的 $\,\mathrm{Dirichlet}\,$ 分布定义如下

$Dir(\vec p\mid\vec \alpha)=\frac{\Gamma(\sum_{k=1}^K \alpha_k)}{\sum_{k=1}^K\Gamma(\alpha_k)}\prod_{k=1}^K{p_k}^{\alpha_k-1}$

多项分布定义为

$Mult(\vec n\mid \vec p,N)=\binom{N}{\vec n}\prod_{k=1}^K{p_k}^{n_k}$

这两个分布是共轭关系.

Deta, Dirichlet 分布的期望

如果 $\,p\sim Beta(t\mid \alpha, \beta)\,$ , 则

$\begin{aligned}E(p)&=\int_0^1t\cdot \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}t^{\alpha-1}(1-t)^{\beta-1}\,\mathrm{d}t\\&=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\int_0^1t^{\alpha}(1-t)^{\beta-1}\,\mathrm{d}t\\\end{aligned}$

而

$\int_0^1Beta(t\mid \alpha+1,\beta)=\int_0^1\frac{\Gamma(\alpha+\beta+1)}{\Gamma(\alpha+1)\Gamma(\beta)}t^{\alpha}(1-t)^{\beta-1}\,\mathrm{d}t=\frac{\Gamma(\alpha+\beta+1)}{\Gamma(\alpha+1)\Gamma(\beta)}\int_0^1t^{\alpha}(1-t)^{\beta-1}\,\mathrm{d}t=1$

于是

$\begin{aligned}E(p)&=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\int_0^1t^{\alpha}(1-t)^{\beta-1}\,\mathrm{d}t\\&=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\frac{\Gamma(\alpha+1)\Gamma(\beta)}{\Gamma(\alpha+\beta+1)}\\&=\frac{\alpha}{\alpha+\beta}\end{aligned}$

对于 $\,\mathrm{Beta}\,$ 分布的多维形式 $\,\mathrm{Dirichlet}\,$ 分布也有类似的结论, 即如果 $\,\vec p\sim Dir(\vec t\mid\vec\alpha)\,$ , 那么有

$E(\vec p)=\left(\frac{\alpha_1}{\sum_{k=1}^K\alpha_k},\frac{\alpha_2}{\sum_{k=1}^K\alpha_k},\cdots,\frac{\alpha_K}{\sum_{k=1}^K\alpha_k}\right)$