第1章 背景
LDA漫游指南
LDA算法使用的全部知识的渊源可以追溯到18世纪的欧拉。欧拉（Leonhard Euler ，1707年4月15日—1783年9月18日），瑞士数学家，如图1-1所示。欧拉一生贡献颇丰，1734年，欧拉因解决巴塞尔问题而出名，巴塞尔问题见式(1.1)的值是多少。
(1.1)
这个问题困扰了数学家长达几个世纪的，当时的数学家只知道该级数的值小于2，但不知道精确值，欧拉准确的推导出该式的值等于π^2/6。欧拉的方法聪明而新颖，他创造性地将有限多项式的观察推广到无穷级数，并假设相同的性质对于无穷级数也是成立的：
(1.2)
欧拉最后的发现是令人惊奇的，π这个数字在与圆周率无关的场合中出现了，这足以说明数学与自然存在着某些神秘的联系。虽然以现代数学的眼光来看，欧拉的证明还不严密。但作为第一个（富有创造性的）证明，欧拉的这个证明永远有着其宝贵的价值。欧拉的另一个贡献就是发现了gamma函数f(x) = \Gamma (x)。该函数后被广泛应用于概率论，这个函数也是本文的主角之一。
作为算法标题之一的Dirichlet， wiki一下，一个19世纪的人映入了我们的眼帘。Dirichlet（1805—1859），德国数学家，生于现德国 Duren（当时属法国），卒于哥廷根，如图1-2所示。他是解析数论的奠基者，也是现代函数观念的定义者。在本文中该数学家的主要贡献是Dirichlet分布。
但是这还不是故事的全部，说到底19世纪的时候还没有发明计算机，LDA应该不是这哥们发明的，于是继续查找，最后查明改成哥伦比亚大学的David M.Blei（见图1-3）是最初LDA论文的作者。Blei同学借用了Dirichlet Distribution，而创造了Latent Dirichlet Allocation。
Blei以PLSA（LDA之前的另一个概率模型）为基础，加上了贝叶斯先验，从而发明了LDA算法。LDA算法最初的论文使用的是变分EM方法训练（Variational Inference）。该方法较为复杂，而且最后训练出的主题非全局最优分布，而是局部最优分布。后期发明了Collapsed Gibbs Sampling方法，推导和使用都较为简洁。Blei及其LDA算法具体介绍如下：
Latent Dirichlet Allocation是Blei等人于2003年提出的基于概率模型的主题模型算法。LDA是一种无监督机器学习技术，可以用来识别大规模文档集或语料库中的潜在隐藏的主题信息。该方法假设每个词是由背后的一个潜在隐藏的主题中抽取出来。
对于语料库中的每篇文档，LDA定义了如下生成过程（generative process）：
（1）对每一篇文档，从主题分布中抽取一个主题。
（2）从上述被抽到的主题所对应的单词分布中抽取一个单词。
（3）重复上述过程直至遍历文档中的每一个单词。
LDA认为每篇文章是由多个主题混合而成的，而每个主题可以由多个词的概率表征。所以整个程序的输入和输出如表 1-1所示。
如果你想使用LDA算法，建议从Gibbs LDA++代码开始使用。在使用过程中，你就会发现该算法的使用方式还算简单，并且生成的结果文件也很规则，根据手册一看便懂。输入分词后的文件，一个文章一行，输出其中看到每个主题规则文件.twords如下格式所示。