下一步是设置实验。第一个要素涉及研究小组,您可以选择测试所有用户,无论他们的质量如何。第二个(这是 Google Play 控制台中的新功能),它仅考虑在其设备上保留应用至少一天的用户群。基本上,这是为了排除随机用户和低质量流量。这可能会对结果的质量产生负面影响。
(最多 3 个替代版本)。请注意,对于每个选项,系统都会不断“估计”使实验结果可靠所需的新用户数量。
实验受众选项将允许您设置访问应用页面的用户百分比,这些用户将看到实验变体而不是他们当前正在使用的信息。这些用户将会被均匀地分配到所有的实验版本中。
最小可检测效应是原始版本和测试版本之间所需的百分比差异,该差异允许我们认为测试具有积极影响。 Google Play 建议最低为 2.50%。该比率越小,达到给定置信区间所需的样本量就越大。这是因为需要更多的定性数 台湾手机号码数据 据来检测对照组和原始组之间转化率的较小变化。
最后,还需要确定置信水平,这是一个百分比指标,用于确定实验的置信度。你想要的确定性越高,你需要收集的用户就越多。然而,在大多数情况下,90% 的置信区间似乎绝对足够(1/10 的测试结果可能会产生假阳性结果)。
当您设置测试时,Google Play 会计算完成实验所需的新用户数量。这使您可以了解测试需要多少天来收集数据。计算器的数据只是过去几天和几周的历史数据。
然后选择要测试的变体数量
-
- Posts: 132
- Joined: Mon Dec 23, 2024 5:30 am