A/B 测试之前必须要了解的 10 件事

如今,转化率优化(CRO)已是营销人员必须具备的技能,并且与 ROI 直接挂钩。但是在优化网页的转化率方面又有太多因素要考量,如果你已经不堪其忧,请专心做一件事—— A/B 测试。

A/B测试,即你设计的页面有两个版本(A和B),A为现行的设计, B是新的设计。比较这两个版本之间你所关心的数据(转化率,业绩,跳出率等) ,最后选择效果最好的版本。

1.忘掉你原本对用户的了解

是的,人们都太容易陷入对用户年龄,性别,位置,或收入的假设之中。曾经,“客户分析”是与用户接触的最好的(甚至是唯一的)方法。即便是现在,它在市场营销中也占有一席之地。

2.建立一条基线

诚然,提高转换率是你的近期目标,但是在你开始 A/B 测试之前,你需要建立一条基线,如果你不知道你目前的转换率是什么,你将如何知道你未来的测试是成功的?(更多请看第5条)

3.对别人有效的方法,对你未必适用

你必须对你自己独特的内容与你自己独特的用户进行 A/B 测试。当然,你可以从其他CRO人员那里套用类似方法,但不要指望能得到相同的结果。

例如,一个销售鞋带公司和一个销售企业应用软件的公司,同样客户都很普遍,但是购买周期完全不会一样。前者的网页上修改一个按钮颜色能提高销量,对于后者可就未必如此。

4.一次只测试一项内容

这个是不言而喻的,但值得一提,因为非常重要。在一段时间,对一个变量进行 A/B 测试,这样的结果是可读的。但是如果你改变你的标题在同一时间你改变你的导航,你怎么会知道哪个变量促成了最多的转换?

5.不要急于下结论

在 A/B 测试中,统计置信指的是如果再次运行相同的测试,是否能有相同的结果。换句话说,它会告诉你测试结果是否可信。

例如,假设在购物车页面进行 A/B 测试,其中“A”是单选按钮而“B”是下拉菜单。于是就有了结论,“B”提高了75%的转换率。显然,B更好,是这样吗?

不一定。因为有三个事实需要考虑:

样本容量

还是上面的例子,如果你的样本量为4人,这意味着只有3人喜欢下拉菜单。当然,这是一个良好的开端,但在1000的样本量仍是这一结果的可能性极低;因此,本次测试的结果属低置信度。

容错率

例如,在样本大小为500时,99%的客户倾向于下拉菜单,你可以相当肯定的是,你的误差率较低。如果,49%的用户喜欢下拉菜单,51%的用户喜欢单选按钮,那么随机性就不得不考虑进来了,你应该继续运行测试,直到一个更高的置信度。

用户规模

如果你的整个用户群体的规模是25万,你的样本量为25人,这样产生测试结果也不具有高置信水平。

6.路要一步一步走

老生常谈的一名话了。随着客户的看法和期望的发展,CRO永远是一个不断前进的目标。不怕犯错,从中练习,你就会成为一个 A/B 测试的高手。

7.多收集一些意见

用户测试从未像现在这样重要,也从未如此简单!即使你没有这样一个部门去专门做用户测试,也选择一些免费和低成本的服务。

Peek by UserTesting

Peek 是一个超级简单,快捷的方式,收集有关您的网站的定性反馈。

优点:信息反馈一般是公正的,详细的,而且免费!

缺点:不能在其目标受众之外测试接口。此外,费时较长。

Amazon Mechanical Turk

优点:一般比较廉价,可扩展,定量,你可以预先选择标准。

缺点:这通常是通过调查引擎,可以引入人为的过滤器。

底线:有反馈总比没有反馈强!

8.实际用户表现可能和用户调查数据相左

用户调查会引入人员误差,而原始用户表现统计数据则不会有这些问题。

例如,你现在急着去开会,要打印文件却发现打印机没墨了,你会怎么做呢?

也许你会说,很简单啊,换个新墨盒打印完呗。如果这是一个用户调查,我会接受你的回答。

但是如果是在用户测试环境,我会记下你敲了打印机4下,清除卡纸,又狂按“取消”按钮7次,再换下墨盒。整理文件时你又打翻了咖啡,洒在了衣服上,于是只好重新安排会议时间。

在调查中,你确实没有说谎,你也确实换墨盒了,只是会忽略前前后后那么多行为。

9.明确定义你成功的标准

不要忘记初衷: CRO 是要提高转化率。不是打开率,点击率,转发率,好评率,或固定率。(除非你的网站就是做这个的)

底线:心中有一个目标,优化周围的目标,你的内容。一切是一个关键绩效指标(KPI)。

10.不要去测试无关紧要的因素

用你的常识去测试你的直觉,直接测试高影响因素。

本文作者:佚名

来源:51CTO

时间: 2024-08-01 01:27:11

A/B 测试之前必须要了解的 10 件事的相关文章

我从可用性测试中学到的五件事

我喜欢做可用性测试. 没有比把假设放在用户面前来测试更有效的方法了.你不仅可以在开发环境之外看你的工作,还可以从用户那里得到很多创新的想法,因为他们每天都在用这个系统. 这件事你必须尽快安排,但是让人吃惊的是很多开发者并没有这样做.他们应该少花点时间开发,多花点时间和用户交流.也就是说,他们更应该走出去. 我还学会了如何获取更有效的反馈.如果专注于特定的模式,那么你可以提高自己发现隐藏观点的能力. 最好在环境上下文中进行测试 我第一次参与的几个可用性测试就是市场人员喜欢做的:主持人坐一边,另外五

Web API核查表:设计、测试、发布API时需思考的43件事

当设计.测试或发布一个新的Web API时,你是在一个原有的复杂系统上构建新的系统.那么至少,你也要建立在HTTP上,而HTTP则是基于TCP/IP创建的.TCP/IP建立在一系列的管道上.当然,你也需要考虑Web服务器.应用程序框架或者是API框架. API从设计到测试以至最终的发布需要经历一个漫长的过程,本文将主要探讨Web API从设计到最终发布,开发者可能忽略或者应该注意的东西. HTTP篇 HTTP 1.1规范RFC2616是一个非常大的文档,下面我们节选了一些可能会对API产生影响的

DxOMark 最新测试成绩单 尼康 D7000 排第 10

DxOMark 昨天公布了尼康 D7000 的最新画质测试结果,测试结果为总分 80 分,在所有(全幅及 APS-C 画幅)测试机型中,D7000 排名第 10 位.而我们注意到,从 DxOMark 所公布的成绩单中,宾得最新 APS-C 旗舰机 K-5 的得分为 82 分,位列所有测试机型当中的第 6 位. 以下为 DxOMark 提供的部分机型测试分数(仅供参考): 尼康 D3x: 88 尼康 D3s: 82 尼康 D700: 80 尼康 D90: 73 索尼 A55: 73 尼康 D300

微软测试新工具:让Windows 10和Android设备文件同步更方便

为让Windows 10系统更好的兼容竞争平台,微软近期正为Android手机测试全新的工具,该工具能够非常方便的在Windows 10 PC和Android设备之间进行文件同步.在微软车库应用Arrow Launcher的最新Beta版本中,出现了名为Arrow Hub的新桌面插件,允许用户查看存储在云端特定文件夹中的文件. 通过该插件用户能够迅速上传文件,Windows 10 PC允许连接并通过位于arrowlauncher.com/files的网页应用来获取同步文件.由于这是一款网页应用,

网页设计技巧:网页表单设计经验分享

文章描述:关于表单每个设计师都必须知道的10件事. 有很多设计糟糕的表单,不管你是否喜欢他们,表单都是必不可少的.Joe Leech(cxpartners负责用户体验的)将介绍其在表单设计上的一些经验. 估计没有什么比表单更让设计师出气了.表单不一定可以让(设计师)表现创意,还是可以?我们可能需要从做基本的层面,重新审视表单,理解表单--表单是用户和软件之间的对话. 忘掉切换啊,点击什么的,表单是我们数字设计师(我想应该是依赖计算机进行设计的设计人员)将面临的最富有的交互.下一次,你要对付一个表

Google Interview University - 坚持完成这套学习手册,你就可以去 Google 面试了

本文讲的是Google Interview University - 坚持完成这套学习手册,你就可以去 Google 面试了, 这是我为了从 web 开发者(自学.非计算机科学学位)蜕变至 Google 软件工程师所制定的计划,其内容历时数月. 这一长列表是从 Google 的指导笔记 中萃取出来并进行扩展.因此,有些事情你必须去了解一下.我在列表的底部添加了一些额外项,用于解决面试中可能会出现的问题.这些额外项大部分是来自于 Steve Yegge 的"得到在 Google 工作的机会&quo

《Windows 8 权威指南》——1.5 版本对比

1.5 版本对比 Windows 8 权威指南 当今电脑操作系统有许多的分支,总而言之分为三部分.其一是微软代表的Windows系统家族:其二是UNIX以及其分支Linux:其三就是苹果的Mac Os.本章我们主要对比一下Windows的几个版本之间的差别以及与Linux版本中最具代表性的Ubuntu的差别. 1.5.1 Ubuntu 12.04与Windows 8的对比 Ubuntu是目前最流行的Linux操作系统之一,最新的版本更新到了12.04.本节我们从以下几个方面来对比一下Window

10件你所不知道的微信

无论是互联网业界的人,还是非互联网领域产品的粉丝,都没有完全的了解微信.微信团队以及张小龙本人,因为张小龙甚少在公众场合出现,以前也只有在极客公园的活动上微信团队进行过分享. 2月底的时候,微信负责人.腾讯副总裁张小龙接受<商业价值>杂志和极客公园的采访,其中有聊到很多话题都具有启发性.对此,我们将采访的内容进行了整理,分成几篇文章.本文是专访系列的第一篇,关于微信你可能不知道的10件事. 事实上,极客公园一直在跟踪微信的发展,在版本4.0 后,我们几乎每个版本都给读者以不一样的视角来解读这个

最令程序员沮丧的十件事

软件开发是一个伟大的工作--和任何其他工作一样,它也有它的缺点.下面的10件事就是大多数程序员关于编程所无法苟同的. 对于非软件开发人员来说,开发人员的工作看起来一定很甜蜜:很多公司都需求这方面人才,得到的报酬真的很不错,公司给你各种有趣的福利,等等.但是真相却是,虽然,这一切是真的,但如同任何其他的工作一样,程序员也有那些扒拉着头发恨不得拔光的时刻.在软件工程师的一生中,有许多事情可能会让他或她沮丧不已. 基于在线讨论论坛中程序员的评论和投票,我们总结了最令软件开发人员沮丧的10件事情.如果,