在本章中,我们将讨论如何衡量结果并简化在网站上进行的测试的统计数据.
了解统计数据
研究人员可能会或可能不会了解统计数据.但是,通过简化这些统计数据,A/B测试工具被证明是一种救星.因此可以避免很多计算.大多数测试工具在使用95%标准作为成功完成目标时是一致的.
这意味着10分中你是9的胜利者.让我们举个例子.您的测试工具报告如下:
变体 | 转换率 |
---|---|
Control page | 1.91% |
1 | 2.39% |
2 | 2.16% |
3 | 3.10% |
此报告预测95%间隔或多或少的.20%转换率差异.统计上,目标范围介于1.76和2.06之间.
获取数据
在计划测试时,我记住了两个目标.首先是提高收入,另一方面是提取更高投资回报率的见解.
例如,在案例研究中,我们将流量转移到产品页面而不是类别页面或主页改进转换率与否.我们采取了三种变体,其中一种是我们在主页上引导了流量,这些流量加载了类别和子类别,进一步指向产品页面.在第二个中,我们将流量引导到类别页面添加过滤器.在第三个中,我们使用购买按钮将其直接指向产品详细信息页面.
令我惊讶的是,第三个变体赢了.这只是买方有关产品的信息.这让我们可以了解转换率提升和持续改进如何使我们增加潜在客户.
毫无疑问,在测试中添加了许多变体和见解,这让我们重新设计了网站.
了解结果
让我清楚一点.不是所有的测试胜利.是的,这是痛苦而真实的.
有一些测试可以让你获得飞行的颜色.还有其他人在经过这么多尝试之后也没有结果.但是,如果您计划通过洞察力推动细分的测试,您可以有一个新的假设进行测试.并非所有测试都可以帮助您提高收入.
举一个例子来理解.有三种广告系列具有不同的转化率.
广告系列A | 8.2% |
广告系列B | 19.1% |
广告系列C | 5.2% |
任何人都会盲目地说'竞选B'是超级演员.但是让我们再挖一些.
访问次数 | 交易 | 转换率 | |
---|---|---|---|
广告系列A | 1820 | 150 | 8.2% |
广告系列B | 20 | 4 | 19.1% |
广告系列C | 780 | 41 | 5.2% |
仔细观察,"广告系列B"太小了具有统计学意义.广告系列B只需一次访问,即可获得100%的转化率. "广告系列A"执行"广告系列C".在得出结论的同时,需要考虑几个因素,每次都可能有所不同.您需要查看所有见解并确定结果.