面对日益剧增的展示广告类型，海量的广告创意，如何运用科学的手段，准确高效的衡量效果，优化投放策略并减少预算浪费，成为广告主面临的一大难题。
常规的A/B实验通常是通过切分广告单元来进行，但这种实验方案对于人群和创意对比实验效率低，甚至可能给出误导结论。有鉴于此，京东首席科学家Harikesh Nair教授及其在硅谷和北京的研发团队，创造性的提出了Comparison Lift解决方案，并以此为基础开发了优投-拆分对比实验工具。
Comparison Lift可以有效帮助广告主在公正无偏的实验环境下，运用科学的手段衡量广告曝光和转化效果。那么Comparison Lift究竟有哪些神奇之处？下面我们就为大家逐一深度解读。
常规A/B实验的不足
常规的A/B实验或者时下比较流行的其他拆分对比实验通常是通过切分广告单元来进行实验，这种传统的实验方案存在以下问题：
问题1：进行人群实验无法保证无偏或者浪费流量
假设一个简单情况：有两个人群（图1），主人群1（蓝色方块）和主人群2（紫色方块），其中有一个交叉人群（当人群数量增加以后，这个交叉结构的复杂程度将会指数级上升）。
假设有两个含有交叉人群的主人群
第一个方案是按照图2的方式来纵向切割广告单元来生成两个广告单元，然后用左边的广告单元来评估主人群1，用右边的广告单元来评估主人群2。在这种情况下由于交叉人群被一切为二，左边单元里的主人群1和右边单元里的主人群2中交叉人群和剩余人群的比例已经与原来的比例发生差异，所以用这种切割方式得出的结论即无法准确推断出主人群1的结果，也无法准确推断出主人群2的结果。
将两个人群纵向切割形成两个广告单元的第一种方案，但是结果有偏误
第二个方案是按照图3的方式来横向切割广告单元来生成两个广告单元，然后用上面的单元来评估主人群1，用下面的单元来评估主人群2。由于每个人群都被对半切割，那么上面的单元有一半的主人群1，下面的单元有一半的主人群2，所以这样得出的结论可以准确推断出每个主人群的结果。但是上面的单元中不属于交叉人群的主人群2的流量都被浪费了，实验效率很低。而且当人群数量多的时候，这种切割方式浪费的流量更多。
将两个人群横向切割形成两个广告单元的第二种方案，但是流量浪费严重
问题2：进行图片实验时实验成本过高
假设有两个图片要对比，一般的做法是切割广告单元将人群等分成两份（图4），然后上面的广告单元播放图片1，下面的广告单元播放图片2。这种方法虽然可以有效评估不同图片的效果，但是由于切割的比例在实验中总是保持一致，低点击率图片与高点击率图片被播放概率一样，一半人群总是观看到低点击率图片，导致这一半人群用户反响差，影响后续用户行为，造成不良影响。因此这个做法虽然可以无偏地评估图片，但是实验本身可能会造成过大的负面影响，实验成本过高。
将人群等分形成两个广告单元进行图片实验，但是点击损耗严重
问题3：实验报告解读难度大
通常实验结束后会有实验报告呈现给广告主来评估不同人群和图片的效果，然而常规的A/B实验报告只提供每个人群和图片简单的平均效果（例如点击率），并不提供其他参考信息。虽然可能可以看到差异，但是无法确信差异是否可靠，也无法有信心地用实验结果来优化后续的投放策略。
Comparison Lift的技术优势
优势1：科学进行人群实验保证结果无偏和流量无损
Comparison Lift提出的新算法和实验设计不切割广告单元进行人群实验，但是又能够对于交叉结构复杂的多个人群进行处理，保证实验结果真实地反应每个人群的内在结构，保证每个人群的完整性，使得实验结果可以用来准确评估每个人群。而且由于该方法不切割广告单元，人群的数量上升不会对流量产生任何影响。同时运用统计学原理和模型重复利用交叉人群的数据来学习每个主人群的效果，提高数据利用率，提升实验效率。
不切割广告单元保证人群完整性；重复利用交叉人群提升实验效率。
优势2：智能进行创意实验提高实验效益
Comparison Lift通过强化机器学习模型实时监控每个创意的效果，在初期随机分配创意，保证每个创意有一定的数据积累，然后根据对每个创意效果的学习更新播放策略，更大概率地播放效果更好的创意。这个策略在保证实验公平的情况下，最大程度地降低实验的损耗和成本，提升实验效益。
实验初期随机播放创意，中后期更多播放效果较好的创意，提升实验效益
优势3：实验报告信息丰富易解读
Comparison Lift根据统计结果给广告主提供更加丰富和易解读的实验结果，帮助广告主更好地理解实验结果，优化后续的投放策略。除了点击率以外，还提供点击率80%的置信区间来佐证效果的稳定性，帮助广告主更有信心地解读实验效果。同时该方法还会运用统计模型来计算每个图片或者人群是最优选项的概率，用这一个总结参数来帮助广告主在图片或者人群数量较多的情况下可以更容易地比较不同的图片和人群，解读实验结果。另外在广告主选取多个人群做图片实验时，实验报告还会评估各个人群图片组合的效果，以及针对人群评估各个图片，帮助广告主更细致地优化投放策略。
拆分对比实验的应用场景
1、了解目标受众成效：帮助广告主了解广告覆盖的目标受众反应，进而确定哪个版本的广告在受众人群中反响更好。
2、改进营销举措：在了解目标受众成效之后，针对最优组合加大预算进行投放，进而促进品牌声量和销售成效。
应用案例
2019年初，某手机品牌在京东APP首页焦点图位置进行了创意变量的拆分对比实验，实验计划中包含3个广告创意和2个目标受众人群。
在5天的实验时间里，系统通过智能流量分配算法，仅用10.7%的流量即找到了最优的创意，将89.3%的曝光用于了最优创意。
在实验过程中，系统不仅找到了最好的创意，还找到了最好的人群x创意的组合。为广告主进行年货节促销投放提供了良好建议。
京公网安备 11010502038478号©2009-2013 17emarketing.com Inc.