使用优化的A/B测试来改善在线软件服务
你有没有想过，当一个网站要求跟踪你的cookie时，到底发生了什么？CISE学院成员赵景龙（Questrom）正在帮助b谷歌、亚马逊、Netflix和Facebook等面向网络的公司使用cookie来改进他们的软件服务。赵在优化和计量经济学的交汇处工作。他为在线平台设计实地实验，帮助他们开发产品。
在最近一篇题为“鸽子洞设计：从在线匹配的角度平衡顺序实验”的论文中，赵和他的合著者提出了一种名为鸽子洞设计的新方法，以帮助面向网络的公司定位他们的受众。该设计解决了实验中异质性的挑战。异质性是指对不同的协变量（在线平台中的用户人口统计数据）采用相同的处理方法。当相同的处理在协变量中产生不同的效果时，问题就出现了。
解决异构性的黄金标准是一种称为阻塞的方法。将具有相似协变量的用户分成不同的组，然后将每个组中的用户随机分配到对照组和治疗组。
“想象一下，你正在进行一项大规模的随机对照试验。实验设计的核心是进行苹果与苹果的比较。你想比较两个被认为相似或相同的单位，”赵说。
鉴于此，网站必须学会如何通过展示他们喜欢的优惠券来瞄准用户。这就是鸽子洞发挥作用的地方。鸽子洞设计将协变量空间划分为更小的空间，称为鸽子洞。它将到达鸽子洞的用户配对成一对，因此每组用户的数量大致相等。一个分类可能是在晚上8点左右访问网站的20到25岁的男性，另一个分类可能是在下午1点左右访问网站的50到60岁的女性。每个鸽子洞可能对优惠券有不同的偏好。基于这些数据，面向网络的公司可以更好地针对不同的客户推出优惠券。
在实验过程中，赵和他的团队将鸽子洞设计的结果与配对设计和完全随机设计的结果进行了比较，这两种设计都可以作为基准。配对设计将发生在一个完美的世界里，面向网络的公司可以在下一个用户到来之前看到他们，让用户被放在一个特定的鸽子洞里，并给予治疗或控制。治疗组可能会给用户一张五折的优惠券，而对照组可能会给用户一张“买一送一”的优惠券。
与配对设计相反，使用完全随机设计的面向网络的公司基本上忽略了协方差。50%的用户被随机分配到对照组，另外50%的用户被分配到治疗组。
理想情况下，面向网络的公司希望性能接近配对设计。但是，他们无法预见到达站点的用户。面向网络的公司只能在用户到达时看到协变量数据。一旦用户到达，他们就会被放入与他们的协变量最相似的鸽子笼中。处理和控制是基于该鸽子洞中的前一个用户给出的。因此，如果一个20岁的男性来接受治疗，那么下一个符合相同条件的人将被给予对照组。
赵的实验结果表明，鸽子洞设计与配对设计的性能非常接近，这是在线设计无法实现的。它也优于完全随机设计，使公司能够以较小的样本量瞄准他们的受众。
赵说，他在本科期间和获得博士学位期间所上的课程影响了他对优化实验设计问题的兴趣，并使他从事了这类工作。
“我带来了从优化的角度来看待实验设计问题的方法，”赵说。“传统上人们通常不会这么做，这就是这个领域如此有趣的原因。”
赵景龙，周子杰。使用鸽子洞设计分层在线田间实验。arXiv预印本arXiv: 2201.12936 (2022)．