网页制作Webjx文章简介:让你误入歧途的5种网页测试方法. |
网页的测试可以有很多好处,但这里提到5种A/B测试和多变量测试的误区会让你误入歧途,SO,不要犯这样的错误。
单变量、多变量、“颠覆性设计”测试
单变量测试就是只测试一个变量的多个值,就是我们平常说的A/B test。注意啦,a/b测试不只是有a/b两个版本, a/b/c/d/e/f/g一样是a/b test!!。
多变量测试呢,就是说会存在多个变量,比如变量是logo的大小,颜色,布局,logo大小有3个值,颜色有3个值,布局也有2个值,需要测试的版本就有3*3*2=18 !这就是所谓的全因子实验设计。不过一般制造业不会这样子,成本太高了,于是就有了正交实验设计。这样可以在短时间找到显著较优的方案,但并不适用于互联网!
颠覆性设计就是的全新的(Radical redesigns),多用于新产品,totally different,测试look-and-feel。
网页的测试可以有很多好处,那什么时候用A/B,什么时候用多变量呢?
A/B test的适用条件
- 新手!
- 只有一个变量要测试(废话)
- “全新设计”(一点一点来实在太慢了!)
- 流量太低,多变量测试导致统计上不显著
多变量测试的适用条件
- 流量足够、有多个变量
- 追赶业内老大
- 无法测试“全新设计”
但这里提到5种A/B测试和多变量测试的误区会让你误入歧途,SO,不要犯这样的错误。
1. 网站分析程序有不是最优的。
在开始测试前,先确定分析程序是OK的,这样不仅可以保证你测试前的分析是正确的,测试过程和测试后也可以正确运行。(补充一下,就是要保证分析之前,采集数据的方法统一。即使有误差那也都存在误差,互相比较时不会把你带到沟里。)
2. 没有用户细分
平均的综合性的指标会掩盖真正的问题。比如说你在测试出网站平均跳出率为59%,如果你去按用户类型细分,新用户可能是74%,回访用户可能是38%。所以目标应该是降低新用户的跳出率。
同样这种情况存在于国内用户与国际用户,邮件订阅者……可悲的是,不是所有程序都能对用户细分。
(补充:正确的用户细分与业务结合得非常紧密,一般需要经过建模,通过合理的变量来细分用户。这样才能实现更有效的细分)
3、使用错误的度量
4、测试时间过短。学习一下统计知识,均值检验、卡方统计等等,不要过早宣判一个版本的胜利。
以上内容大多取自http://www.getelastic.com/5-common-ab-multivariate-testing-mistakes/,围观请移步.