2.3 组合多个单词
使用贝叶斯定理，我们找出了根据是否包含特定单词分类SMS的方法。这是一个进展，但是我们还远没有完成任务。一条消息中有许多单词，每个都以不同的强度表现非垃圾短信和垃圾短信的特征。如何将这些信息（它们可能传递相互矛盾的信号）组合为用于决策的单一值？
2.3.1 将文本分解为标记
举个例子，考虑下面这条假设的短信：“Driving, cant txt.”它是垃圾短信的概率有多高？
我们可以直接应用贝叶斯定理，在数据集中搜索整条短信。但是，这种方法估计不会有很好的效果。找到精确复制的概率很小，更不要说多个单词的精确复制了。另一方面，我们已经看到单词“FREE”携带一些相关信息。
我们要做的就是简单地将短信分解为一组单词：“driving”“cant”和“txt”，并用某种表现形式代替原始文本。然后，分析单独标记并将它们所代表的组合为单一值，据此做出决定。
将文本块分解为有意义的元素（单词或者其他符号）——标记（Token）的过程称作标记化。决定如何标记化是模型的重要部分，没有任何独特的正确方法——取决于所要解决的问题。现在，我们和以往一样从能够实施的最简单方法入手：如果一个单词“FREE”的信息量很丰富，扩展这一想法，将短信分解为单个单词。实际上，我们将把每条短信转换为一组特征，每个特征中存在或者不存在某个特定单词。
例如，如果我们有两个字符串“Programming is Fun”（编程很有趣）和“Functional programming is more fun!”（函数式编程更有趣！），可以将它们分解为“programming”“is” “fun”和“functional”“programming”“is”“more”“fun”。这种表现方式使我们可以更加高效，不需要检查某条消息是否包含特定的子字符串，可以将每个文档处理为一组标记，快速验证是否包含我们感兴趣的特殊标记。
■ 注意：
这一通用方法对于将文本转换为计算机可以处理的形式很有用。例如，我们可以收集语料库中找到的整组标记——[“functional”; “programming”; “is”; “more”; “fun”]——并通过计算每个标记找到的次数，对每个文档进行编码。第一个文本块变成[0; 1; 1; 0; 1]，第二个文本块变成[1; 1; 1; 1; 1]。我们的数据集现在采用了人类完全不可读的形式，和第1章中的数字数据集很相似：每一行是一个观测值，每一列是一个特征，所有内容都编码为数字——例如，我们可以用这些数据确定两个文档的相似度。将观测值转换为一组计算机可以分析寻找模式的数字型特征（人类无法做到），是机器学习中很典型的做法。
这时，你可能会想：“这是严重的过度简化”，你是对的。毕竟，我们将整个句子转换成一组原始的单词，忽略了句法、语法或者词序。这种转换明显丢失了信息。例如，“I like carrots and hate broccoli”（我喜欢胡萝卜，讨厌花椰菜）和“I like broccoli and hate carrots”（我喜欢花椰菜，讨厌胡萝卜）这两个句子转换成同一组标记[and; broccoli; carrots; hate; i; like]，因此被认为是完全一样的。与此同时，我们没有尝试理解句子的含义，只需要识别与特定行为有联系的词语。
我要强调的另一点是，虽然我们的标记化看起来相当简单，但是已经包含了许多隐含的决策。我们决定将“Programming”和“programming”当成同一个词，忽略大小写。这是个合理的假设吗？可能是，也可能不是。如果你曾经参加过在线讨论（如论坛或者YouTube评论），可能同意大量使用大写字母往往代表着讨论质量正在走下坡路。因此，这证明大小写很重要，可能提供分类消息的相关信息。另一个隐含的决定是丢弃“！”，这合理吗？标点也可能很重要。
好消息是，我们无须争论大小写或者标点符号是否重要，可以很容易地在以后的交叉验证中得到这个问题的答案。正如W. Edwards Deming的不朽名言：“我们信仰上帝——其他人都必须用数据证明自己。”为每个假设创建不同的模型，比较它们的表现，让数据做出决定。
2.3.2 简单组合得分
现在我们已经决定将短信分解为3个标志——“driving”“cant”和“txt”——仍然必须想出计算消息是非垃圾短信或垃圾短信概率的方法。“txt”表明有很大的概率是垃圾短信，而“driving”则指向非垃圾短信。我们如何组合所有证据？如果应用贝叶斯定理，确定在包含全部3个标记的条件下，某条短信是垃圾短信的概率，可以得到如下算式：
这个公式看上去有些可怕。但是，如果我们做一个简化的假定，事情就容易多了。我们假定这些标记相互独立——也就是说，在一条短信中看到一个标记对其他标记是否出现没有任何影响。在这种情况下，计算公式是：
P (SMS包含driving、cant、txt |SMS是垃圾短信 )
=P (SMS包含“driving”| SMS是垃圾短信 )
×P (SMS包含“cant”| SMS是垃圾短信 )
×P (SMS包含“txt”| SMS是垃圾短信 )对以上公式，借用一点点贝叶斯定理的“柔道”翻身之术，可以得到如下结果：
从根本上，我们做了如下工作：没有尝试建立完整、复杂的英语模型，而是使用简单得多的模型。想象一下，你有两个装单词的大桶，一个用于垃圾短信，另一个用于非垃圾短信，它们包含的单词所占比例不同。消息通过从其中一个桶里随机选择单词组合生成。当然，这是相当可笑的语言模型。与此同时，该模型也有一些明显的好处。更“正确”的模式可能专用于特定语言（例如需要考虑其语法和句法），因而有可能对其他语言无效。因此，从较差但对任何语言或者文档类型效果相似且容易处理的模型开始，看看它会将我们引向何方！
2.3.3 简化的文档得分
现在，我们几乎已经为编码实现分类器做好了准备。我们可以轻松求取P（SMS是垃圾短信）——训练集中垃圾短信的比例，以及P（SMS包含“X”|SMS是垃圾短信）——包含标记“X”的垃圾短信比例。
投入工作之前，先进行一些最后的调整。首先，你可能已经注意到，在垃圾短信和非垃圾短信中，冗长的贝叶斯公式都包括同一除数项——P（SMS包含“driving”“cant”“txt”）的运算。最终，我们感兴趣的是决定一条消息是垃圾短信还是非垃圾短信，而不是精确的概率。在这种情况下，我们可以去掉公共项，节约不必要的计算，简单地计算“得分”而非概率。
Score (SMS是垃圾短信｜SMS包含driving、cant和txt )
=P (SMS包含“driving”| SMS是垃圾短信 )
×P (SMS包含“cant”| SMS是垃圾短信 )
×P (SMS包含“txt”| SMS是垃圾短信 ) × P（SMS是垃圾短信 ）如果Score（垃圾短信）>Scrore（非垃圾短信），我们将把消息归类为垃圾短信。
实际上，如果我们仅需要一个得分，可以进一步解决另一个问题——与精度相关的问题。 从定义上看，从短信中任何特定标记上观察到的概率都是小于1的数字（通常接近0）。由于我们的公式包含这些概率的乘积，结果也接近0，可能造成舍入误差。
为了避免这一问题，习惯上是使用一种旧的技巧，将计算转换为对数。这方面的细节不是很重要，但正是使用这种方法的原因。因为log (a * b) = log a + log b，可以将公式从乘积转换成总和，避免了舍入问题。而且，因为对数是递增函数，通过对数转换公式将保留得分的排名。所以，我们使用如下公式代替原公式，求得消息的分数：
Score (SMS是垃圾短信 | SMS包含driving、cant和txt )=log (P ( SMS是垃圾短信 ))+
log（Laplace (SMS包含“driving”| 垃圾短信 )）+
log（Laplace (SMS包含“cant”| 垃圾短信 )）+
log（Laplace (SMS包含“txt”| 垃圾短信 ) )在一定程度上，上式澄清了算法逻辑。每个标记都有一个非垃圾短信得分和垃圾短信得分，量化了它属于这两种情况的强度。尝试决定某个文档是不是垃圾短信时，算法首先计算垃圾短信得分——垃圾短信基准水平，每个标记都增加或者减少文档的垃圾短信得分，独立于其他标记。如果文档的垃圾短信得分最终高于非垃圾短信得分，则判定文档是垃圾短信。