为什么网站项目只需要5个人来做测试?

人们总是认为,用户测试是一个复杂且代价昂贵的事情。一个网站设计项目需要一个庞大的预算和长长的时间表。其实,可用性测试并非如大多数人认为的是浪费资源的事情。在你可承受的测试成本范围内,使用不超过5个用户,即可达到很好的测试效果。

最初的研究过程中,Tom Landauer 和我得出了一个 可用性测试方面的,关于测试人员的数量的公式:

假设一个可用性测试的测试人员数量为n,N为所有可用性测试发现的问题总数,L是单个测试人员的问题发现率。

N(1-(1-L)n)

我们发现,大多数项目的平均的问题发现率为31%。当 L=31%时,可以得到如下:

当用户为零时,发现的问题数目是零,即“零用户零发现”。我们可以看到,第一个用户几乎发现的三分之一的设计的可用性的问题,和零发现截然不同。当我们看第二个用户的测试情况时,可以发现,有一部分问题是和第一个user重合的。人们之间的行为或发现有一定的差异,第二个user可以发现一些不同于第一个user的问题,有区别于第一个用户的新发现,但是问题数量不及第一个用户的最初发现。第三个用户做了很多前两者重复的事情,有些甚至重复2次。另外,当然,第三个用户本身异能发现少量的新问题,显然数量远远不及前 两个用户。

现在,加入更多的测试人员(user),你会发现一个现象,随着人数的增加,重复的事情一再出现,发现的新问题发现率开始下降。显然不再需要让更多的人来重复发现重复的问题,自然回回去重新设计,以解决发现问题。

到了第5个user,你就是在浪费时间,去做重复的事情,并且几乎再没有先的发现。

迭代设计

上图中的曲线很清除地标明,至少需要15个用户去发现所有的设计中的可用性问题。但是,为什么我更倾向于推荐用更少的测试人员呢?一个主要的原因是合理分配可用性测试的预算。让我们看看,当你招聘15个客户代表来对你的设计进行测试时,就一位着你得花费5个用户的3倍的费用!

当我们去做用户的可用性测试时,最终的目标是为了解决或者提高实际的设计,而不是仅仅得到一份书面的报告。当5个用户的首次测试发现了85%的可用性问题时,你已经可以在下一个desagn中修复这些问题。

如果想发现更多的问题,当然需要再次测试。即使我说重新设计可以修复第一次测试时发现的问题,事实是你可能认为新的设计可以客服已有的问题。但是,在没有人能设计出更完美的用户界面之前,无法保证新的设计可以修复事实存在的问题。第二次测试可以回归已有的问题,确认是否修复。同时,一个新的设计,意味着还需要一次新的用户测试。

5个用户的第二次测试,可以发现第一次测试时遗留的15%的问题。(仍旧会有2%的问题遗留要等到第三次测试来发现)。

最终,第二次测试的深度可以设计到网站的设计架构,获取到我们所需的一些信息,如体系架构、任务流程等是否符合客户需求。这些问题常常在隐藏在一些表面的可用性问题之后,而为人们所忽略。

所以,第二次的测试作为第一次测试的质量保障,并且可以发现更深入的问题。第二次测试会为系统的重新设计提供一份新的问题清单,但数量显然会少于第一次测试。但是,本次测试并不能完全补充第一次测试,还需要第三次的测试来进行查漏补缺。

5个用户三次的最终测试效果要远高于15个用户测试一次的效果。

为什么不建议单用户的测试?单个人的行为总会有一些风险,人总会有一些意外的,不确定的行为。

你可能会认为15个用户做一轮测试,比5个用户做3轮要好。因为曲线表明,第一个用户的发现率明显高于后续的用户,但是,为什么我们要坚持多轮测试?两个原因:第一,通过观察3个人就可以看到用户行为的多样性,可以洞察到那些行为是独特的那些是可以一概而论的;第二,用户测试的成本效益分析表明,3-5个测试用户的最佳比例,依赖于测试的风格。初始的运行成本和测试计划相关,多个用户对于降低最初的成本效果更好。

什么时候增加更多的测试用户

当你的网站客户群覆盖到几个不同高度的用户群时,你需要增加更多的测试用户。上面公式的适用于网站的用户群接近或者差异很小时。举个例子,当你的网站客户群是定位于父母和孩子时,你就需要充分考虑到两个不同群里的使用行为。系统的相同之处是对于采购代理商的销售人员之间的连接。

甚至当用户群体差异性完全不同时,在两类人之间也可发现很多相似之处。毕竟,所有的用户都是人。所有的可用性问题反应的都是人的行为与网站之间的互动和影响。

在测试不同的用户群时,你不需要每个用户群中都有很多测试人员(user),有以下的一个测试人员数目就足够了:1、如果测试两个用户群,则每类群需要3-4个用户;2、如果测试3个或更多的用户群,则每类有3个测试用户就可以了(至少3个users就可以确保你覆盖到某一个用户群中的不同的行为)

时间: 2024-11-27 10:35:39

为什么网站项目只需要5个人来做测试?的相关文章

为什么网站的项目只需要5个人来做测试?

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 人们总是认为,用户测试是一个复杂且代价昂贵的事情.一个网站设计项目需要一个庞大的预算和长长的时间表.其实,可用性测试并非如大多数人认为的是浪费资源的事情.在你可承受的测试成本范围内,使用不超过5个用户,即可达到很好的测试效果. 最初的研究过程中,Tom Landauer 和我得出了一个 可用性测试方面的,关于测试人员的数量的公式: 假设一个可

用公式说明为什么网站项目只需测试5个用户

人们总是认为,用户测试是一个复杂且代价昂贵的事情.一个网站设计项目需要一个庞大的预算和长长的时间表.其实,可用性测试并非如大多数人认为的是浪费资源的事情.在你可承受的测试成本范围内,使用不超过5个用户,即可达到很好的测试效果. 最初的研究过程中,Tom Landauer 和我得出了一个 可用性测试方面的,关于测试人员的数量的公式: 假设一个可用性测试的测试人员数量为n,N为所有可用性测试发现的问题总数,L是单个测试人员的问题发现率. N(1-(1-L)n) 我们发现,大多数项目的平均的问题发现率

微软资深经理人的网站项目管理经验

微软|项目 这是微软资深项目经理人Stephen Maguire的项目管理经验.软件开发和网站开发有极其相似的地方,我们可以从中学习领会许多知识. 第一章 有效团队的基础 1.专心改善产品 公司付工资给设计师,要他们在合理的时间开发出品质精良的网站,但是设计师们的时间却经常被其它事情占用了. 典型的情况是设计师要花大量的时间准备会议,参加会议,读写开会记录和进度报告,还有回复email等等,这些事情都不能改善网站的工作,虽然其中一些是设计师自己主动做的,但更大一部分是项目经理下的命令. 虽然项目

创建一个典型的企业网站项目

简介:这是一个真实的故事.故事中,我作为一个项目的负责人,因为初期过于迎合客户,而放弃了对一些基本原则的坚持,最终导致项目进行中被迫进行大改动.而改动过程中,通过引入敏捷开发而将损失降到了最低. 项目背景 2006年年初,一位客户联系我的公司,希望能够为其企业创建一个企业网站项目.根据客户的简单描述,这个项目本质上就是一个内容管理系统,并集成了论坛.FTP和电子邮件等功能,因此不算复杂.按照以往的经验估计,最多一个月就可以完成这个简单的项目. 需求分析 大体而言,该项目的主要功能包括新闻和文章发

运营网站项目要注意的细节

摘要: 笔者从2008年开始开始运营网站,不知不觉到现在已经过了5年多了,这5年来经历过的风风雨雨是这一生都不能忘却的.笔者也从这5年的经历中体会到运营网站的痛苦与快乐,看着现在越 笔者从2008年开始开始运营网站,不知不觉到现在已经过了5年多了,这5年来经历过的风风雨雨是这一生都不能忘却的.笔者也从这5年的经历中体会到运营网站的痛苦与快乐,看着现在越来越多人也涌入个人站长这个行业,心中不禁感慨万千.作为一个过路人,笔者想在这里和一些新人站长分享一下自己的经验,但并非以教导的姿态出现,只是想和各

网站项目实施业务流程及规范

问题描述 网站项目实施业务流程及规范商务流程 一.寻找客户,确定网站开发意向.在与客户交流的过程中,可能要向客户展示以前实施的样板项目,还可能要给客户制作网站样例(图片及文字说明). 二.签定网站项目开发合同.客户方预付一定数量的款项. 三.项目实施完毕,客户交付全部项目款. 需求分析 一.进行客户计算机应用水平调查. 二.确定客户方项目负责人员. 三.召开用户需求调研会议(最少一次) 参加会议人员:客户方:领导,客户方项目负责人,业务代表,技术员等. 我方:商务人员,项目经理,技术人员(尽可能

网站项目失败经验教训总结之执行力

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 昨天我在A5写了一篇<一份坚持 一个微笑 我跨过寒冷的冬天>,很多站长朋友加了我的QQ和我交流网站运营成功和失败的经验,突然发现很多人跟我提到一个问题:在技术和资金都有保障的情况下,为何之前被大多数人都看好的网站项目会最终走向失败呢?为何连项目的决策者都没有能力去力挽狂澜呢?昨天下班回到家我用了3个多小时在线和这些站长朋友们讲述了

未曾面世过的网站项目创业组队邀请书

一个网络中未曾面世过的网站项目,具有可上市的潜力,前期目标也就是上市,和音乐沾得上关系,风险投资也在联系寻找中.其他的不必也不想在这里多介绍,现在创业.项目.团队是很敏感的词汇,其每个创业的人对自己所想到的项目都很兴奋,这种兴奋极容易导致对项目过于主观而缺少对未来潜在用户的调查,对此我只想说,项目为停放半年以上后再度考虑,应该已经是过了"兴奋期",希望正在上班的年轻人或者自己正在运营着自己的小站但苦于收入甚小又找不到合适项目的高手们试一试,趁着年轻赌一赌,虽然本人认为这个项目非常非常非

2012不适宜个人站长操作的7类网站项目

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 2012年伊始,各位站长又在忙碌自己的网站,更新.推广.今天我想分享2012年个人站长不适合做的几种网站项目,我也是考虑到时间与个人能力的差别整理出来的.每次分享文章的时候,有赞同我的观点的,也有不赞同的.纯属个人见解,希望分享给大家参考. 第一类网站:本地门户网站.可能很多个人站长都做过本地的门户网站,比如做分类信息,人才网,培训网,装饰网