
 
 
 作者: (1)丹尼尔·比斯利 Author: (1)丹尼尔·比斯利 桌子左 
 
 
 
 
 
 
 
 
 
 
 Introduction 
 
 
 
 
 
 
 
 
 Hypothesis testing 2.1 Introduction 2.2 Bayesian statistics 2.3 Test martingales 2.4 p-values 2.5 Optional Stopping and Peeking 2.6 Combining p-values and Optional Continuation 2.7 A/B testing 
 
 
 
 
 
 
 Safe Tests 3.1 Introduction 3.2 Classical t-test 3.3 Safe t-test 3.4 χ2 -test 3.5 Safe Proportion Test 
 
 
 
 
 Safe Testing Simulations 4.1 Introduction and 4.2 Python Implementation 4.3 Comparing the t-test with the Safe t-test 4.4 Comparing the χ2 -test with the safe proportion test 
 
 
 
 
 Mixture sequential probability ratio test 5.1 Sequential Testing 5.2 Mixture SPRT 5.3 mSPRT and the safe t-test 
 
 
 Online Controlled Experiments 6.1 Safe t-test on OCE datasets 
 
 
 Vinted A/B tests and 7.1 Safe t-test for Vinted A/B tests 7.2 Safe proportion test for sample ratio mismatch 
 
 Conclusion and References 1 介绍 随机控制试验(RCTs)是推断治疗与效果之间的因果关系的黄金标准,它们被科学家广泛应用,以深化他们学科的理解。在过去的二十年中,他们还发现了数字产品中的应用,名为A/B测试。A/B测试是一种简单的RCT来比较治疗(B组)与控制(A组)的效果。 几乎所有A/B测试的统计测试都依赖于固定地平线的测试。这项测试设置涉及确定测试所需的用户数量,收集数据,并最终分析结果。然而,这种测试方法不符合现代数据基础设施的实时能力,实验者想要快速做出决定。新开发的统计方法允许实验者随时放弃固定地平线的测试并分析测试结果。 安全测试是一种新的统计理论,实现了这些目标,正如我们所看到的那样,安全的A/B测试允许实验人员不断监测他们的实验结果,而不会增加得出错误的结论的风险。此外,我们将看到它需要比标准的统计测试更少的数据来实现这些结果。 大型技术公司目前正在以有限的容量探索AVI,但安全测试在检测显著影响所需的样本数量方面优于可用的测试。 该论文包含6个部分。第2节介绍了对假设测试的介绍,以及其他与读者相关的统计概念。它还解释了经典统计测试的不灵活性如何导致从业人员遇到问题。第3节介绍了安全测试的概念。此外,它引发了安全t测试和安全比例测试的测试统计数据。第4节模拟了安全统计数据的性能,并将其与其经典替代品进行比较。第5节将安全t测试与另一种常见的随时有效的测试,即混合序列概率测试(mSPRT)进行比较。第6节将安全t测试和mSPRT在广泛的在线实验数据上进行比较。最后,第7节致力于将安全测试与Vinted的经典统计测试进行比较,这是一种大型公司技术。 
 
 此论文在ATTRIBUTION-NONCOMMERCIAL-SHAREALIKE 4.0 INTERNATIONAL许可证下存储。 此论文在ATTRIBUTION-NONCOMMERCIAL-SHAREALIKE 4.0 INTERNATIONAL许可证下存储。 可用 档案

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

undefined's blog

該音頻是用故事的原始語言製作的！

为什么你的A / B测试策略被打破(以及如何修复它)

About Author

註釋

標籤

这篇文章刊登在

Related Stories

从论坛到信息流：社交媒体算法如何塑造数字互动

数字游民请注意：您需要了解泰国新推出的 DTV 签证

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

加密货币增长：创建有效的用户角色

从论坛到信息流：社交媒体算法如何塑造数字互动

数字游民请注意：您需要了解泰国新推出的 DTV 签证

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

加密货币增长：创建有效的用户角色

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps