360手机卫士安全认证：“及格分”背后的真相调查

　　每经记者 吴数 发自上海 　　 在今年初由AV-Test反病毒测试有限责任公司 (以下简称AV-Test)
举行的一次全球">手机安全产品测试中，360手机卫士获得 “及格”的成绩。但最近，直接参与该次测试的国外一家知名安全软件厂商首席技术官W先生（化名）向《
每日经济新闻》记者爆料，360手机卫士这次的测试结果原来是 “不及格”，但360公司通过“特殊的手段”，最终让360安全卫士“及格”过关。 　　 该专家认为，360的行为涉嫌作弊，同时，该测试机构也涉嫌作弊。 　　排名原为倒数第二/ 　　 主持此次测试的AV-Test成立于2004年，公司所在地为德国萨克森-安哈尔特州的马格德堡。 　　 AV-Test公司在反病毒评测领域有超过15年历史——AV-Test反病毒测评作为马格德堡大学的一个科研项目早已存在。其一直以海量病毒库检测、独立客观的检测过程和严格的标准著称，被业界公认为世界级杀软的对决平台。据《每日经济新闻》记者了解，在其既往的历史上，从未出现过测试过程不合理或人为作弊的情况。 　　 W先生真实身份为国外一家知名安全软件厂商首席技术官，为国际上著名的安全技术专家，并经常以专家的身份主持过许多大型安全检测与评测工作。其任职的安全机构也是此次AV-Test参评的国际厂商之一。W先生一再强调，因为全程参与和见证了此次测评全过程，因此其信息“确凿可靠”。 　　 据记者了解，“AV-Test反病毒测试”主要提供反病毒产品测试、技术含量测试以及跟踪监测计算机
安全产品的长期检测率。其中，
移动安全产品测试分为3个类别：防护、可用性、增强安全性。每个类别的测试满分分别为6.0、6.0、1.0，总分需要达到或超过8.5才能获得AV-Test的认证。 　　 据W先生透露，恶意软件检测率 (度量安全产品的防护能力)是此次测试最为重要的指标，AV-Test在检测中会根据厂商的检测率数量级给出0~6分的“防护能力分”。 　　 “而此次AV-Test主要测试了手机安全软件的查杀能力、误杀能力。通过对综合病毒样本的查杀率和误杀率来给手机安全软件的查杀能力打分，包括Trustgo、AntiyAvl、Bitdefender等23家各国厂商参与此次测评，而国内也有360手机卫士等3家厂商参与了测评。”W先生接着透露，360手机卫士的丢分部分，主要在于其恶意软件检测率过低。“其检测率只有75.32%、此项得分仅2分，在参评的23款手机安全软件中，排名倒数第二。” 　　 W先生给 《每日经济新闻》记者提供了公测结果的原始文件。这份原始文件很清楚地标明，360的公测结果不理想，排名仅为倒数第二。 　　 为此，记者又分别从参与此次测评的其他几家公司中获得了相关数据文件，这些文件所述与W先生提供的数据是相同的，均可证明原始文件中，360为“不及格”。 　　安全测评中的魔法/ 　　 那么，360在 “不及格”的情况下，又是怎样“动手脚”变成“及格”的呢？《每日经济新闻》记者对此展开了
深入了解。　　 根据AV-Test测试原始数据显示，360在“增强安全”项中，获得1分（满分为1分），在“可用性”上获得5.0分（满分为6.0分），而“防护能力”项上，仅获得2.0分 （满分为6.0分）。显然，丢分项发生在“防护能力”上。而据W先生介绍，在这三项考核指标中，恰好是这项指标是最重要的，也是最容易丢分的。要获得认证通过，其总评需达到8.5分——这是最低指标分。显然，是“防护能力”拉了后腿。 　　 那么，360的总分是怎样被拉到8.5分的呢？W先生提供的信息竟然是：AV-Test悄悄改动了测试样本集的样本数。 　　 W先生介绍说，AV-Test这次测试的样本数，原本取样数是952个，360手机卫士检出数是717个，其检测合格率为75.32%。按这一检出率，可以获得2.0分。但令人惊讶的是，在最终测试结束的样本总量数上，发生了惊人的改变：由952份缩减至869份——共减少了83份样本。 　　 更令人难以置信的是，在原始测试文件的数据中，360的漏检数为235份，而减少的83份样本，可以设想出两种可能性： 　　 1、从235份漏检样本中，抽出83份样本全部剔除，同时，再从漏检样本中，人为地将13份漏检样本改为“检出”； 　　 2、抽出83份样本中，有部分是检出合格的样本，部分为漏检样本，而合格样本增加一份，人为地将漏检样本改为“检出”的数量也增加1份。 　　 这样一来，最终呈现的数据为： 　　 样本数869份，检出样本数730份，漏检出样本数139份，总检出合格率为84%。 　　 而“防护能力”项的2.5分的合格率区间为77.69%~84.33%，由此，360获得宝贵的0.5分——其总分达到8.5分。 　　 正是基于这种 “分母减、分子增”的魔术，360手机卫士及格过关。 　　 独立调查员认为，从统计学角度讲，产品测评属于抽样调查统计，根据一定规则（包括但不限于随机）抽取952个病毒木马样本 “代表”所有病毒木马。在测试结果出炉后再回头选择性地缩减样本量、直接重新统计，而不是全部重新抽样、重新测试，显然不符合统计规范，足以否定其测评结果的有效性。“从已获知的信息
来看，人为操纵痕迹明显，这是一起涉嫌造假的测评事件。” 　　 但也有专家认为，在最终审核样本时，发现有一定的问题，从而将一定的不合格样本剔除，这在科学测试中，也是可能发生的。 　　
不过，中国反病毒专家李铁军指出，即使如此，对于一项非常严肃的科学测试，如果测试结果因为样本出现问题而需要对样本进行重新定义，并修改测试结果，其无论怎样，都是应该以通报的方式对所有
参加测试的厂商给予告知，并以充分的理由，赢得参与者的认可。 　　 李铁军认为，对于一家以严肃、严谨著称的公司，在这一“细节”上发生这样的事件，“是不可理解的”。 　　 记者曾就此事联系了AV-Test相关负责人，但截至记者发稿时，
对方仍未就相关问题做出回应。 　　 （出于对记者人身安全的考虑用化名）