《计算机视觉：模型、学习和推理》——3.9　共轭性

3.9　共轭性

贝塔分布可以表征伯努利分布中参数的概率，与之相似，狄利克雷分布可表征分类分布参数的分布，同样的类比关系也适用于正态逆伽马分布与一元正态分布、正态逆维希特分布与多元正态分布之间。

这些配对有很特殊的关系：在每种情况下前一个分布是后一个的共轭：贝塔分布与伯努利分布共轭，狄利克雷分布与分类分布共轭。当把一个分布与其共轭分布相乘时，结果正比于一个新的分布，它与共轭形式相同。例如：

其中，k是缩放因子，相对于变量λ它是一个常量。值得注意的是，这个式子并不总是成立：如果选择其他分布而非贝塔分布，那么这个乘积的形式将发生变化。对于这种情况，式（3-19）中的关系很容易证明：

其中,第三行中同时乘以和除以与Betaλ［α,β］关联的常量。
在学习（拟合分布）和评估模型（评估在拟合分布下新数据的概率）的过程中会用到分布的乘积，因此共轭关系很重要。共轭关系意味着这些乘积可以闭式求解。