2.2 根据一个单词决定
有了数据，我们就可以开始分析了。我们的最终目标是区分垃圾短信和非垃圾短信，但是和数字识别器的情况不同，我们还没有一组清晰的特征，唯一的材料是原始文本块——SMS本身。与此同时，人们会猜测文本中有许多信息可供利用。我们只需要找到一个途径，将这些字符串转换成可以使用的特征即可。
2.2.1 以单词作为线索
如果你仔细观察刚刚加载的数据集，就可能会注意到垃圾短信看起来和非垃圾短信有些不同。浏览这些短信，你的眼睛很容易找出某些值得警惕的线索，暗示着某一条短信可能是垃圾短信。举个例子，“FREE”（全部大写）出现在开始的几条垃圾短信中，似乎在非垃圾短信中不常见到。
这就提出了一个可能的方法：使用来自整条短信的单词识别它所属的类别。我们首先计算垃圾短信中包含特定字符串的次数，与非垃圾短信比较，确认我们的直觉是否正确。我们可以在脚本中输入几行F#代码来测试这一点。首先，过滤数据集使之只包含垃圾短信，然后再次过滤，只保留包含“FREE”的消息，最后计算剩下的条目数量。
let spamWithFREE =
dataset
|> Array.filter (fun (docType,_) -> docType = Spam)
|> Array.filter (fun (_,sms) -> sms.Contains("FREE"))
|> Array.length```
选择上述代码，在F# Interactive窗口中运行——应该看到如下的结果：val spamWithFREE : int = 112`
现在，让我们对非垃圾短信做同样的工作：
let hamWithFREE =
dataset
|> Array.filter (fun (docType,_) -> docType = Ham)
|> Array.filter (fun (_,sms) -> sms.Contains("FREE"))
|> Array.length```
这将产生如下结果：val hamWithFREE : int = 1`
数字确认了我们的直觉：“FREE”在垃圾短信中使用的频率确实远高于非垃圾短信，这似乎是用于区分两个类别的好标志。我们可以使用这个词构建一个很简单的垃圾短信分类器，如：
let primitiveClassifier (sms:string) =
if (sms.Contains "FREE")
then Spam
else Ham```
这是一个很有希望的开始。但是，如果我们想要使用这一思路构建更重要的程序，就需要应付两个问题。首先，我们选择“FREE”作为垃圾短信的指示器，但是并没有真正证明其原因。我们怎么知道一个特定的词汇是不是垃圾或者非垃圾短信的好标志？其次，根据来自整条消息中的一个词做出决定似乎相当有局限性。我们能否一次使用多个词，将它们（可能冲突）的信息组合为单一决策过程？
####2.2.2 用一个数字表示我们的确定程度
根据直觉判断包含“FREE”的消息很可能是垃圾短信在统计学上拿不到高学位。我们能不能得到一个不依靠直觉的结论，并且量化特定单词表示一条消息是非垃圾短信或者垃圾短信的可靠性？
我个人常常借助决策树，作为更好地理解概率问题的一种方法。在我们的例子中，下面就是所要做的事情：将语料库中的5574个文档按照文档类型分成两组（747个垃圾文档，4827个非垃圾文档），对每个组计算包含“FREE”的数量。这可以表示为一棵决策树，如图2-2所示。
<div style="text-align: center"><img src="https://yqfile.alicdn.com/c41442408c745c61af8d552f8c04db4d5809223c.png" width="" height="">
</div>
我喜欢将决策树看成一系列管子（如果你愿意，也可以将其看作管道）。从初始节点开始，在管子中注入100%的可能性，而不是水。每个节点代表可能有多种结果的一个事件，将各种可能性分解到不同分支，不应该有任何可能性消失。
在本例中，我们从5574个文档开始，它们可能是垃圾短信或者非垃圾短信。大部分文档是非垃圾短信——5574个中有4827个，占86.6%——所以如果没有任何其他信息，随机选择一条消息并问你“是垃圾短信还是非垃圾短信？”你的回答应该是“非垃圾短信”（有86.6%的概率答对）。
树的下一级考虑每组文档中包含“FREE”的可能性。例如，如果一条消息是垃圾短信，有112/747的可能性包含“FREE”，以概率论的术语表达，如果文档是垃圾短信，包含“FREE”的概率是15%。
这很有趣，但是对我们的分类没有用处。我们真正想知道的是包含“FREE”的文档是垃圾短信的概率。不过，获得这一信息也不太难：我们只需要重新组织决策树，从文档是否包含“FREE”开始，而不是从垃圾短信和非垃圾短信开始。注意，不管如何构造决策树，最终都应该有4个“叶子”组。例如，应该仍然有112个文档是垃圾短信且包含“FREE”。在5574个文档中，有113个包含“FREE”，其中112个来自垃圾短信组，1个来自非垃圾短信组。经过更多的重新组织，我们应该得到图2-3所示的决策树。虽然和前面的树完全等价，但是提供了不同信息相互关联的不同视角。
<div style="text-align: center"><img src="https://yqfile.alicdn.com/caf10c56e01398401cc0f7288b5b9ad90766a275.png" width="" height="">
</div>
具体地说，这棵决策树为我们提供了关心的信息：包含“FREE”的文档是垃圾短信的概率为112/113=99.1%（从科学上确认了我们的直觉）。
####2.2.3 贝叶斯定理
我们刚刚使用的方法有一个名称：贝叶斯定理。教科书中最枯燥的表现形式通常是：
<div style="text-align: center"><img src="https://yqfile.alicdn.com/9688c7285ded78b4947b01fc9b13083c661e2dc5.png" width="" height="">
</div>
|符号应该读作“在……条件下”。我们刚才的例子计算的是在一封电子邮件包含“FREE”的条件下，该邮件是垃圾邮件的概率，按照贝叶斯公式应该写作：
<div style="text-align: center"><img src="https://yqfile.alicdn.com/ae2e1fb8937b1630c8dec62191261ec5283203ba.png" width="" height="">
</div>
如果机械地代入数字，可以得到如下结果，这就是我们用决策树得出的结果：
<div style="text-align: center"><img src="https://yqfile.alicdn.com/f48ebf7070148b768b6307ced28e54674a13d457.png" width="" height="">
</div>
看待贝叶斯定理的方法之一是将其当作两部分数据的平衡措施：对世界的初始认识（在我们的例子中是有多少垃圾短信）以及附加的信息（在垃圾短信或者非垃圾短信中找到单词“FREE”的频率）。贝叶斯定理量化新信息中的权重：垃圾短信越少见，默认的预测就应该越向非垃圾短信倾斜，更换预测方法的证据就越有力。
看待贝叶斯定理的另一种方法是与独立性概念的关联。如果如下等式成立，则称两个事件A和B相互独立：P (A and B) = P (A)×P(B)`
使用贝叶斯定理，上式可以得出：
P (A | B) = P (A)```
换言之，知道与B相关的任何细节不能传达任何关于A的有用信息（反之亦然）。相反，如果A和B不互相独立，贝叶斯定理将捕捉到两部分信息关联的强度。最后一点（也是一句忠告）是，要注意这种效应的不对称性。如果知道一个电子邮件是垃圾邮件，那么它有15%的概率包含“FREE”，但是知道一封电子邮件包含单词“FREE”，那么它有99%的概率是垃圾邮件！
蒙蒂•霍尔问题
如果你觉得上面介绍的方法很令人困惑，不要担心。这个问题既简单又复杂——进行计算很容易，但是认识到其真正意义却不简单。众所周知，人类的大脑很不擅长理解不确定性，即使非常聪明的人在这个问题上也会犯令人难堪的错误。最著名的例子是蒙蒂•霍尔问题：在游戏节目中有3个门，其中一个门后藏有奖品，当选手选择了一个门时，主持人打开剩下两个门中的一个，指出该门后面没有奖品。问题是，选手这时候应该改变自己的选择吗？20世纪50年代，Marilyn Vos Savant正确地回答了这个问题，但是一些著名的数学家（如Paul Erdos）却错误地企图指出她的错误。从这个故事里我得到了一个教训：处理概率时应该多加小心，因为人类直觉的过往记录并不好——当然，在公开批评任何人之前要三思而行！
####2.2.4 处理罕见的单词
贝叶斯定理为我们提供了根据一个单词决定一条短信是非垃圾短信还是垃圾短信的便利方法。但是，你可能已经注意到一个小问题。如果选择仅在一个类别中出现的单词——例如只存在于非垃圾邮件的“uncle”“honeybee”或者“wine”——那么我们的公式将对一个类别指定100%的概率，另一个类别指定0%的概率。换言之，如果我们看到一条包含单词“uncle”的消息，我们将带着100%的自信决定，这条消息不可能是垃圾短信，而不管这条消息的其余内容是什么。
时间： 2024-10-21 08:29:57