事情是这样的视频怎么做(那个事应该怎么做软件)

没想法、拍脑门、凭经验,可能是过去影响产品持续增长的重要因素,通过以下的实验步骤将可以改观这种现象。

一、怎样产生靠谱的实验想法?

我们前面的文章里面介绍过产生实验想法的两种方式:数据分析与用户调研

1)数据分析

通过分析用户的留存率或者是用户留存曲线,找出留存率高,留存曲线高的功能或体验,围绕它展开实验想法,大家如果感兴趣可以翻看前面的内容。

2)用户调研

数据只能统计出结果,无法告诉你原因,这时就需要通过用户调研找出其中的原因,是产品不好用,还是产品无法满足用户的需求……。

通过以上两步就能发现产品的一些特点,围绕这些特点就可以产生一些实验想法。

二、如何排定想法的优先级?

有了实验想法之后,怎样确定先做哪个后做哪个呢?通过ICE对将要实验的想法进行排序。

预期影响(Impact):实验能覆盖多少用户?实验成功,能把指标提升多少?

成功概率(Confidence):是否能从数据中找到足够有力的洞察支持?

容易程度(Ease):需要花多少成本验证实验假设?

假设一个电商平台想要提高用户购买率,提出了3个可能的实验想法:用文字说明保证最低价、开发猜你喜欢推荐功能、协调上线运险费。

事情是这样的视频怎么做(那个事应该怎么做软件)

根据ICE评分,用文字说明保证最低价的得分最高,需要我们最优先处理。

三、设计实验

选出实验想法后,就可以着手进行实验设计了,在实验设计的过程中,可能会遇到以下问题:

1、没有正确的定义实验指标,导致上线后,得不出结论,或者得出错误的结论。

2、不知道实验所需要的样本数,导致实验上线跑了很久,也得不出结论。

对于第一个问题,我们的处理方式是,通过定义三类指标来完善,这三类指标分别是:核心指标、辅助指标、反向指标来避免。

核心指标:决定实验成败的关键指标;

辅助指标:在实验中可能会影响到的指标;

反向指标:对实验可能有影响的负面指标。

还是以电商为例,它想测试商品详情页去掉购物车,只留下直接购买,是否会带来更多的订单。这里的核心指标就是订单量,可以直接衡量购物车对用户下单的影响。下单转化率、下单频次、复购率……等指标出现了上升或下降,这些变动的指标就都纳入辅助指标。

订单如果一下子变多了,你也不要高兴太早,还得看用户的退单情况,因为用户习惯了先把看中的产品加入购物车,用户有足够的时间考虑要不要购买,现在只有购买按钮,促使用户进行了下单,等下完单,或者收到货后,意识到并不是很需要这个产品,于是选择了退单,所以退货率也是我们很重要的反向指标。

事情是这样的视频怎么做(那个事应该怎么做软件)

对于第二个问题,需要提前计算所需要的样本数和时间。

事情是这样的视频怎么做(那个事应该怎么做软件)

实验上线2小时可以得出结论吗?答案是不能,原因是时间太短,样本数太少了。

事情是这样的视频怎么做(那个事应该怎么做软件)

实验上线300天可以吗?虽然有了足够多的样本数,但是时间太长了,一般实验都等不了那么长时间。

那该怎样找到合适的样本数,既能保证实验结果的可靠性,又不会浪费过多的时间和样本数?

这就需要引入统计显著性,它是指参与实验的实验组和对照组之间的差异在多大程度上是真实存在的,而不是受到偶然因素的影响。

举例:如果某个实验的统计显著性是95%,则显示实验组与对照组之间有95%的差异是真实存在的,另外5%的可能性是由偶然因素引起的。

我们需要记住的一点是:统计显著性越高,偶然因素影响的就越小,实验的结果就越可靠。

完成统计显著性,需要借助样本数计数器,计数器以下网址:

AB测试样本数量计算器

举例:原版本橙色按钮的点击率为8%,新版本黄色按钮的点击率为10%,统计显著性为95%,那么需要多少样本数?

事情是这样的视频怎么做(那个事应该怎么做软件)

有了实验样本数,接下来怎么确定实验所需要的时长呢?

实验时长=总样本数量(为两次实验的样本数之和)/实验页面每天的访问数=2400*2/400=12天。

确定好这些数据之后,就可以上线测试了。

四、分析和应用实验结果

1、评估结果

结果的可信性来源于对统计显著性的判断,如果有第三方工具协助,在系统里面可以设置统计显著性提醒,如果没有第三方工具的支持,就需要通过手动计算,在以下网址输入对应的数值即可。

手动计算统计显著性:https://www.eyeofcloud.com/abtest-widget/126.html

事情是这样的视频怎么做(那个事应该怎么做软件)

2、分析结果

通过核心指标、辅助指标、反向指标三大指标分析实验结果是否成功。

实验结果的四种状态:

1)统计显著的指标大幅提升:实验组胜

预期实验指标提升8%,实际上提升了25%。

2)统计显著的指标小幅提升:实验组胜

预期实验指标提升8%,实际上只提升了1.5%。

3)统计显著的指标下降:对照组胜

预期实验指标提升8%,实际上提升了15%。

4)统计不显著:对照组胜

预期实验指标提升8%,实际上和对照组没有差异。

如果实验的结果不及预期,还可以结合前面几章里面介绍过的方法:用户分群、路径分析、用户调研……等对用户进行分析,找到背后的原因。

3、应用结果

应用结果的三种方式:

1)放弃:如果结果不理想,放弃即可。

2)迭代:如果实验结果不理想,但是通过实验产生了一些新的实验想法,可以继续迭代优化实验。

3)应用:如果对实验结果满意,则可以将其应用在产品里面,扩大影响。

如何扩大影响?在实验成功的方向上继续深入挖掘机会,也可以测试在其他渠道上面是否可以应用实验过的方式,还可以通过实验结果检验其他的实验想法是否可行。

最后举一个例子说明持续实验的重要性,增长黑客之父肖恩埃利斯在《增长黑客》中有过这样一段描述,有一天他发现自己创建增长黑客网,经过一段时间的发展后,突然就停滞不增长了,他找寻原因,令他震惊的是,团队整个季度开展的测试不到10次,于是召集团队一起商议,并定下每周至少要进行3次实验,最终网站又进入了快速增长。

事情是这样的视频怎么做(那个事应该怎么做软件)

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 sumchina520@foxmail.com 举报,一经查实,本站将立刻删除。
如若转载,请注明出处:https://www.sumedu.com/faq/95951.html