我们观察一些用户比一个都不观察更糟糕呢?

摘要: 眼见为实,观察是在研究用户与产品交互中极少数,比看那些专业的报告或者汇报更有说服力的一种方法。 但是,如果在一项可用性测试中,调研人员只有观察一个或两个用户的时间,

  眼见为实,观察是在研究用户与产品交互中极少数,比看那些专业的报告或者汇报更有说服力的一种方法。

  但是,如果在一项可用性测试中,调研人员只有观察一个或两个用户的时间,那怎么办呢?在什么样的情况下,我们观察一些用户比一个都不观察更糟糕呢?

  只观察一个比不观察更糟糕

  试想一下,如果一个调研人员,如产品开发人员或设计人员,他们找到5个用户来进行测试,而这几个用户在使用这个产品时没有感到任何的疑惑和困难,他们便会错误地从这5个用户中得出结论:所有的用户在使用该产品时都没有问题,并会认为该产品已经很优秀了。

  两个用户的模式

  为了避免这种对单一用户调研而产生片面的结果,一些研究团队便制定了简单少数服从多数的规则,他们会问,或在某些情况下要求观察多个用户的使用阶段。如果调研人员只能观察一次,那么这比什么都不要观察糟糕的多。

  如果所有可用性测试都是按照计划来进行,而其努力的结果与曲解是相一致的,那么你就会明白为什么要有这样的一个规则。至少有两个用户的话,你会看到不同的用户与软件的交互方式,也能更全面概括出用户行为是怎么样的。

  三个用户打破平局

  另一种我所见过的形式是观察的至少三个用户,而不是两个。两个用户可能会导致平局而无法决策,第三个用户会打破这个局面。至少这样可以适当避免先入为主的想法影响最终结论。

  为什么一个优于无

  我很同情那些研究人员,常常被领导用先入为主的观念而扭曲数据。所以不难理解这样的指导方针。然而,我也不愿意说观察一两个用户比什么都没做更糟糕。因为这涉及到一个概率的问题。

  如下图中的表格,它分别代表可用性测试中的5个用户。白色方块代表那些有相似体验的用户,红色方块则代表一个曾经对产品有不同寻常体验(异常好或者坏)的用户。

  调研人员会看到这个不同寻常的用户的概率是五分之一或者说20%。因此,在任何只有一个不同寻常的用户的研究中,就会有被误导的可能产生。

  然而,大数定律告诉我们,随着时间的推移,更有可能的是,用研人员看见一个典型问题胜过非典型问题。下面这五个研究,每一组研究中都有五个用户。每一组研究中都有一个表示有差异的红色方块和四个一致体验的白色方块。

  使用二项概率公式,一个调研人员会看到在所有五次观察中仅有的一个不同寻常用户的概率是0.03%。用研人员看在三个不寻常的体验的概率为6%。随着时间的推移,观察次数越多,更可能看到典型问题。

  问题的发生

  我们将讨论扩展到用户遇到的问题上。同样用概率的规则,让5个用户来揭示最明显的问题,也意味着只有一个用户观察到的问题,更可能会比那些不寻常的问题明显。也就是说,如果你看观察到有五分之一的用户有这一个问题,那么这个问题可能影响到的会是8.5倍,而不仅仅是在1%的用户中进行测试的只是在20%的用户。

  唯一的问题

  然而当涉及到问题的出现时,任何被测试的用户都会遇到许多问题,并且这取决于研究的类型,许多这些问题仅仅只能看到一次——尽管你测试了许多用户。例如,下面的网格显示的是有30个用户参与的一个可用性测试的问题矩阵。共有28问题被记录下来。其中,第9个问题(32%)只有一个用户遇到过。

  仅仅观察一个用户的一个明显缺点是利益相关者无法区分唯一问题和较常见的问题。只有一个用户,那么得出的结论就将会是这些问题影响到所有用户。有两个或三个用户来测试的话,至少我们还能将这些唯一和冗余的问题区别开来。但是,我们不能过高的相信我们从那一两个,甚至三个用户中得到对该产品的认可。

  小样本的不确定性

  让第三个人成为制胜的关键是很有吸引力的想法(每个学校的孩子都知道),实际上,不一定需要很多用户。例如,如果二分之一的用户有不好的体验,百分之九十我们可以认为可能在所有用户中有12%至88%都在遭受着这不好的体验。这个范围有百分之七十六的精确度。通过添加一个用户打破平衡的局面,我们可以有90%的信心认为这个问题将影响所有用户的25%至93%(68%的精密)。所以当我们观察的用户从2个变成3个时,我们已经提高了8百分点精度。尽管只有8个百分点,但两个范围仍然是很巨大的。

  结论

  当我说观察两三个用户比观察一个或者零个要好时,不代表观察两个或一个比一个都不观察要糟糕。观察一个用户意味着我们没有办法评估去用户与产品互动的许多不同的方式。观察更多的用户很重要,识别和解决可用性问题通常是同样重要的。

  仅仅只观察一个单独的用户也测试出一些影响界面设计问题。随着时间的推移,如果调研人员在每个可用性研究中一直观察一个随机的用户,他们将会更关注那些不同寻常的问题,而不是那些常见的问题。在任何给定的样本研究中,他们总会有很好的概率被一个不寻常的体验所误导,随着时间的推移,甚至一次单独抽样都会将他们聚焦到最常见的问题上。

  如果一个研究人员对数据的理解非常糟糕,我想,更多的调研也不过是会导致更多的对用户曲解罢了。因此,坚信多数胜过少数并没什么不好,我还是相信有一些用户调研总比没有的好。

时间: 2024-09-30 08:15:42

我们观察一些用户比一个都不观察更糟糕呢?的相关文章

行业观察:这是一个“认知优先”世界

本文讲的是行业观察:这是一个"认知优先"世界[IT168 编译]忘了"移动优先"和"云计算优先"吧,当今的应用程序已经步入了"认知优先"的时代. 这个说法来自于Progress的CEO 约戈什·古普塔,他表示智能应用程序需要具备预告和预测的能力,以帮助企业获得更大的成功. 他并不是唯一一个这么认为的人,笔者每参加10次演讲,就有6个会涉及人工智能或机器学习的一些方面.在物联网的未来不久,后端系统将必须去理解数据,因为数据量会变

研究手机上网用户的一个支点:用户预期

用户用手机上网时希望看见什么,希望有什么操作?我们的产品让用户惊喜了.困惑了还是失望了?用户预期在手机用户研究中能起到什么作用,透过用户预期我们可以看到什么需求.改正什么错误?接下来就让我们借助用户预期这个支点去撬开用户需求的那扇门吧. 1.什么是用户预期 用户预期,顾名思义就是指用户对于即将看到的内容和进行的操作所预先有的认知和期待.在移动互联网领域日新月异的今天,手机上网用户不断体验着惊喜与失望.相比于传统的PC上网,手机上网用户的时间更为碎片化,上网目的更加模糊,打发时间成为上网的重要动因

路由-请问如何让用户数据包都通过虚拟网卡发送到实网卡再发送出去

问题描述 请问如何让用户数据包都通过虚拟网卡发送到实网卡再发送出去 在内核中添加了一个虚拟网卡,如何设置才可以让上层的数据包都发往虚拟网卡,再通过虚拟网卡发往实网卡,最后发送出去.让上层认为虚拟网卡就是实网卡,所有数据都发往虚拟网卡.我想的是修改默认路由表,但是不知道行不行的通,另外如果修改路由表的话,是不是每次开机都要重新修改? 解决方案 装一个虚拟机可以解决此问题. 解决方案二: 虚拟机网卡的NAT模式.

java 日历中用户创建一个跨天的事件提醒,那么我的java日历应当如何去记录并打印出这样的事件呢?

问题描述 java 日历中用户创建一个跨天的事件提醒,那么我的java日历应当如何去记录并打印出这样的事件呢? 一个班级假如有100个同学,现在我们按照学号随机选择连续学号的42名同学,这42名同学一排7人分为6排,然后按照他们这一年来参加活动的多少来给分,规定一个同学参加一次班级活动就给这位同学1分,参加一次团体表演(你可以认为参加团体表演的人都是按照学号顺序相邻的,比如从1到10号的同学,他们一块进行了一场团体表演,学号15-30的16位同学一块进行了一次团体表演等,这些人每人都能获得1分)

用户对一个网站反感的原因是什么?

用户浏览体验是每个建站者做网站时首要注意的地方,但是怎么样才能做出一个让网民用户喜欢的网站呢?优质的网站内容?炫酷的页面展示?个性的网站模板?强大的网站功能?其实当你越深思熟虑的时候,你越容易陷进泥潭,这样就算你做出一个你自认为优质的网站,也不会得到用户的认可和喜爱. 网民用户对一个网站反感的原因有很多,比如网站打开速度慢:网站页面不整洁:网站结构不清晰:网站过多刻意的宣传:网站功能老旧:网站内容老套无新意等等.面对这些种种的苛刻要求,让许多网站运营者头疼,怎么样才能做出一个用户一眼看上的网站呢

如何让用户拷贝一个链接发给其他好友。如果其他好友通过该链接来注册。用户直接获得积分如何实现

问题描述 如何让用户拷贝一个链接发给其他好友.如果其他好友通过该链接来注册.用户直接获得积分如何实现 解决方案 解决方案二:将用户的id附加在链接后面,他的好友来注册的时候判断下,如果推荐人参数不为空就根据计分规则给那个用户添加积分解决方案三:大多数网站推荐注册都是上述方式,不过为了防止一台机器多注册,最好加上点限制同一IP注册解决方案四:顶12楼的

numbers-如何让用户输入一个数字,然后分辨是比array里面的数字大还是小

问题描述 如何让用户输入一个数字,然后分辨是比array里面的数字大还是小 import java.util.Scanner; public class Arrays13 { public static void main(String[] args) { Scanner reader = new Scanner(System.in); int number; int[] numbersArray = new int[]{11,8,4,9,22,30,24,23,35,0}; System.ou

Mysql教程:教你为root用户指定一个目录

  在你自己安装了一个新的MySQL服务器后,你需要为MySQL的root用户指定一个目录(缺省无口令),否则如果你忘记这点,你将你的MySQL处于极不安全的状态(至少在一段时间内). 在Unix(Linux)上,在按照手册的指令安装好MySQL后,你必须运行mysql_install_db脚本建立包含授权表的mysql数据库和初始权限.在Windows上,运行分发中的Setup程序初始化数据目录和mysql数据库.假定服务器也在运行. 当你第一次在机器上安装MySQL时,mysql数据库中的授

不允许一个用户使用一个以上用户名与服务器或共享资源的多重连接

局域网中共享文件夹时,一直用bat命令连接,很长时间一直正常,今天突然不行了,报出以下错误信息: --------------------------- 正在还原网络连接 --------------------------- 将 Y: 重新连接到 \\110.110.110.110\安装程序 时出错 Microsoft Windows Network: 不允许一个用户使用一个以上用户名与服务器或共享资源的多重连接.中断与此服务器或共享资源的所有连接,然后再试一次. 此连接尚未恢复. -----