问题描述

两个特征的线性模型比一个特征的线性模型表现差的原因

现在有两个模型（w1,w2是权重，x1,x2是特征）：
(1)y = w1*x1 + w2 * x2

(2)y= w1 * x1

(3)y= w2 * x2

模型（3）的f值要比模型（1）和模型（2）的好，这种情况都有哪些原因啊，除了增加特征，增加了noise以外。

问题背景是：跨文档命名实体关联，特征x1是基于edit-distance的相似度，特征x2是该需要识别实体的一个window(55个词)里的所有命名实体；完整模型是最大熵模型。

求指点！

解决方案

模型有噪音，或者两个模型是正交的。