2微信基于StarRocks的实时因果推断实践

••••••*参考：The Value of Personal Data in Internet Commerce: A High-Stake Field Experiment on Data Regulation Policy••*参考：赋能传统的报表分析，提供更准确的决策报表统计检验效力(Power)：指统计推断中检验出显著的能力，样本量越大，power越高。模型预估精度(MSE)：因果推断和机器学习模型结合时，样本量越大，模型精度越高，预测值的MSE越小1.互联网场景下，面临大数据量的因果推断，目前的单机采样损失效果。2.因果推断模型也需要复杂调参过程，需要实时分析能力01我们的工作•Fast-Causal-Inference: 腾讯开源分布式因果推断工具•底层基于OLAP引擎和SQL解析引擎的数据科学计算框架，在秒级处理数千亿行数据因果推断计算。例如，6 亿行的数据集执行t 检验仅需0.32 秒•采用SQL/python语言交互，方便分析同学使用•因果推断工具包，覆盖业内最常用的因果推断模型，已经有20+模型https://github.com/Tencent/fast-causal-inference我们的愿景： All in SQL •••••••均值检验场景，提供基于做方差估计的检验函数，附带有种方差削减能力（）方差削减：利用协变量信息做回归’，降低统计量的噪声，提高统计效力（）后分层方差削减：利用协变量做分层，每一层内分别估计方差再加权，加权后统计量方差更小16假设检验+方差削减 SELECT search_type,ttest_2samp(avg(click)/avg(show),index, 'two-sided', avg(click_pre)/avg(show_pre), first_hit_ds ) AS ttest_result FROM test_data_small; GROUP BY search_typeCUPED方差削减假设检验deltamethod,链式法则求导维度下钻后分层方差削减•均值检验场景，提供基于做方差估计的检验函数，附带有种方差削减能力（）方差削减：利用协变量信息做回归’，降低统计量的噪声，提高统计效力（）后分层方差削减：利用协变量做