为期四周的机器学习研讨会，2024年秋季
CDS机器学习研讨会由Aldo Pacchiano助理教授和张学洲教授发起，由计算与数据科学学院主办，汇集了机器学习领域的顶尖学者，深入探讨机器学习领域的前沿发展和基础技术。通过联合来自不同技术学科的专家，包括算法设计、模型架构和优化技术，研讨会旨在阐明核心机器学习方法的最新进展和挑战。
过去的会谈将于2024年秋季举行
法学硕士的有效策略优化技术
Kiante Brantley，哈佛大学助理教授
日期：12月6日，星期五，上午10点
地点：CDS 1646
后训练对于增强大型语言模型（LLM）能力并使其与人类偏好保持一致至关重要。最广泛使用的训练后技术之一是基于人类反馈的强化学习（RLHF）。在这次演讲中，我将首先讨论将RL应用于LLM培训的挑战。接下来，我将介绍RL算法，通过利用潜在问题的关键属性来解决这些挑战。此外，我将提出一种方法，将llm的RL策略优化过程简化为相对奖励回归。最后，我将扩展这个想法来开发一种策略优化技术，用于从人类反馈中进行多回合强化学习。
本文作者是哈佛大学肯普纳澳门威尼斯人注册网站研究所和工程与应用科学学院（SEAS）的助理教授。他在马里兰大学帕克分校（University of Maryland College Park）完成了计算机科学博士学位，师从Hal daum
III博士。毕业后，他在康奈尔大学完成了博士后澳门威尼斯人注册网站研究，与Thorsten Joachims一起工作。他的澳门威尼斯人注册网站研究重点是机器学习和交互式决策的交叉问题，目标是提高基础模型的决策能力。他与同事们一起获得了多个奖项，包括在ICLR 2023和ICLR 2019上的聚光灯演讲。他还获得了多个奖学金，包括NSF LSAMP BD奖学金和NSF CI澳门威尼斯人注册网站研究员博士后奖学金。在业余时间，他喜欢运动；他目前最喜欢的运动是举重。
综合潜在结果和因果混合可识别性
Bijan Mazaheri，麻省理工学院博德澳门威尼斯人注册网站研究所和哈佛大学博士后；达特茅斯学院即将上任的助理教授
日期：11月22日（星期五）下午2点
地点：CDS 1646
来自多个总体、子组或来源的异质数据可以表示为“混合模型”，其中单个潜在类别影响所有观察到的协变量。异质性可以通过根据不同的相似性概念分组群体在多个层次上解决。这次演讲由Bijan Mazaheri博士介绍，他提出了对系统干预或扰动的因果反应进行分组。Mazaheri将证明这个定义不同于标准概念，例如相似的协变量值（例如聚类）或协变量之间的相似相关性（例如高斯混合模型）。为了解决这个问题，Mazaheri将描述使用可观测数据的高阶多线性矩从反事实分布中“综合”采样。为了理解这些“因果混合”如何与更经典的概念相适应，将开发一个混合可识别性的层次结构。考虑到这种层次结构，Mazaheri将讨论因果建模作为数据科学指导框架的作用。
Bijan Mazaheri博士是麻省理工学院和哈佛大学布罗德澳门威尼斯人注册网站研究所的埃里克和温迪施密特博士后澳门威尼斯人注册网站研究员。Bijan对整合来自多个地方、主题和模式的数据和知识的任务非常感兴趣。在加入Broad之前，Bijan是加州理工学院的NSF澳门威尼斯人注册网站研究生澳门威尼斯人注册网站研究员和亚马逊ai4科学澳门威尼斯人注册网站研究员，导师是Shuki Bruck和Leonard Schulman。Bijan曾获得剑桥大学赫歇尔·史密斯奖学金，并获得威廉姆斯学院文学学士学位。毕扬将于明年1月在达特茅斯工程学院（Dartmouth Engineering）担任助理教授，并招收博士生。
从战略数据源中学习
邵寒，哈佛大学博士后；马里兰大学新任助理教授
日期：11月8日（星期五）上午11点
地点：CDS 1101
摘要：与标准分类任务相比，策略分类涉及智能体策略性地修改其特征以获得有利的预测。例如，给定一个基于信用评分确定贷款批准的分类器，申请人可能会打开或关闭他们的信用卡和银行账户来欺骗分类器。学习目标是找到一个对策略操纵具有鲁棒性的分类器。在战略分类中，根据已知信息的内容和时间，探讨了各种设置。在这次演讲中，Shao将重点讨论一个基本问题：战略分类和标准学习之间的可学习性差距。这次演讲是基于与Avrim Blum， Omar Montasser, Lee Cohen， Yishay Mansour和Shay Moran的合作（arxiv.org/abs/2305.16501发表于NeurIPS'23, arxiv.org/abs/2402.19303发表于COLT'24）。
简介：韩绍是哈佛大学CMSA博士后，由Cynthia Dwork和Ariel Procaccia主持。她将于2025年秋季加入马里兰大学计算机科学系，担任助理教授。她在TTIC完成了博士学位，在那里她的导师是Avrim Blum。她的澳门威尼斯人注册网站研究重点是机器学习的理论基础，特别是在学习过程中由人类社会和对抗行为引起的基本问题。她感兴趣的是了解这些行为如何影响机器学习系统，并开发方法来提高准确性和鲁棒性。此外，她对获得澳门威尼斯人注册对抗性稳健性的经验观察的理论理解感兴趣。
战略环境中的学习：从校准代理到一般信息不对称
Chara Podimata，麻省理工学院助理教授
日期：11月15日（星期五）下午12点
地点：CDS 1646
在这次演讲中，Podimata将讨论委托-代理博弈中的学习，在这种博弈中，委托人和代理人对彼此选择的行为的了解存在信息不对称。他们将介绍标准Stackelberg游戏（SGs）框架的概括：校准Stackelberg游戏（csg）。在csg中，委托人反复与代理交互（与标准SGs相反），代理不能直接访问委托人的行为，而是对校准后的预测做出最佳响应。Podimata将表明，在csg中，在有限和连续设置中，委托人可以获得收敛于游戏的最优Stackelberg值的效用（即他们可以达到的价值，代理一直知道委托人的策略），并且没有更高的效用可以实现。最后，他们将讨论一个元问题：当在战略环境中学习时，代理人能否克服其偏好的不确定性，以实现他们本可以在没有任何不确定性的情况下实现的结果？它们能仅仅通过相互作用来做到这一点吗？
Chara Podimata是麻省理工学院运筹学和统计学1942年的职业发展教授。她的澳门威尼斯人注册网站研究主要集中在激励意识机器学习和更广泛的社会计算，从理论和实践的角度来看。她的澳门威尼斯人注册网站研究由亚马逊和麦克阿瑟基金会通过x-grant提供支持。她在哈佛获得博士学位。在她的空闲时间，她跑步和花时间与她的狗，特拉。
2023年秋季/往届讲者
2023年秋季演讲者名单
自适应内曼分配
赵景龙，美国奎斯特罗姆商学院助理教授
日期：11月1日（周三）下午4:30
地点：CDS 1750
摘要：在实验设计中，Neyman分配是指将受试者分为实验组和对照组的做法，其数量可能与各自的标准差成正比，目的是使治疗效果估计量的方差最小。这种被广泛认可的方法在实验组和对照组有不同标准偏差的情况下增加了统计能力，就像社会实验、临床试验、市场澳门威尼斯人注册网站研究和在线A/B测试中经常出现的情况一样。然而，除非事先知道标准差，否则无法实施内曼分配。幸运的是，上述应用程序的多阶段特性允许使用早期阶段的观察来估计标准差，从而进一步指导后期阶段的分配决策。在本文中，我们引入了一个竞争分析框架来澳门威尼斯人注册网站研究这个多阶段的实验设计问题。我们提出了一种简单的自适应内曼分配算法，它几乎符合进行实验的信息论极限。使用来自社交媒体网站的在线A/B测试数据，我们证明了自适应内曼分配算法的有效性，突出了其实用性，特别是在只有有限数量的阶段应用时。
赵景龙，波士顿大学凯斯特罗姆商学院运营与技术管理助理教授。他在优化和计量经济学的交汇处工作。他的澳门威尼斯人注册网站研究利用离散优化技术来设计在线平台应用的现场实验。景龙博士毕业于麻省理工学院社会与工程系统与统计学专业。
通用虚拟代理
Stephen McAleer，博士后，卡内基梅隆大学
时间：11月9日（周四）下午4:30
地点：CDS 1646
摘要：能够在计算机上执行一般任务的代理可以大大提高效率和生产力。理想情况下，这样的代理应该能够解决通过自然语言命令呈现给它们的新计算机任务。然而，以前解决这个问题的方法需要大量的专家演示和任务特定的奖励函数，这两者对于新任务都是不切实际的。在这次演讲中，我展示了预训练的法学硕士能够通过递归批评和改进输出，在MiniWoB（一种流行的计算机任务基准）上达到最先进的性能。然后，我认为RLHF是一种很有前途的改进LLM代理的方法，并介绍了通过约束RL来对抗RLHF中过度优化的新工作。
作者简介：Stephen McAleer是卡内基梅隆大学的博士后，与thomas Sandholm合作。他的澳门威尼斯人注册网站研究导致了第一个解决魔方的强化学习算法和第一个在战略游戏中实现专家级表现的算法。他的澳门威尼斯人注册网站研究成果发表在《科学》、《自然机器智能》、《ICML》、《神经ips》和《ICLR》等杂志上，并在《华盛顿邮报》、《洛杉矶时报》、《麻省理工科技评论》和《福布斯》等新闻媒体上发表。他在加州大学欧文分校（UC Irvine）与Pierre Baldi合作获得计算机科学博士学位，并在亚利桑那州立大学（Arizona State University）获得数学和经济学学士学位。
地理空间机器学习：以数据为中心的算法设计、开发和评估
哈佛大学博士后Esther Rolf；即将上任的助理教授，科罗拉多大学博尔德分校
日期和时间：11月15日星期三下午3点
地点：CDS 548
简介：Esther Rolf是哈佛数据科学倡议和计算与社会澳门威尼斯人注册网站研究中心的博士后澳门威尼斯人注册网站研究员。2024年秋天，埃丝特将加入科罗拉多大学博尔德分校，担任计算机科学助理教授。
Esther在统计和地理空间机器学习方面的澳门威尼斯人注册网站研究融合了方法和应用技术，以澳门威尼斯人注册网站研究和设计机器学习算法和系统，重点是可用性，数据效率和公平性。她的一些具体项目涉及使用机器学习开发可靠环境监测的算法和基础设施，负责任和公平的算法设计和使用，以及数据采集和表示对机器学习系统的有效性和适用性的影响。
Esther于2022年在加州大学伯克利分校完成了她的计算机科学博士学位，在那里她的导师是Ben Recht和Michael I. Jordan。埃丝特的博士学位得到了美国国家科学基金会澳门威尼斯人注册网站研究生澳门威尼斯人注册网站研究奖学金、谷歌澳门威尼斯人注册网站研究奖学金和加州大学伯克利分校破石者奖学金的支持。埃丝特在ICML（2018）和Neurips的人工智能社会公益研讨会（2019）上获得了最佳论文奖，她的工作影响得到了联合国开发计划署和国际电信联盟颁发的可持续发展目标数字游戏改变者奖（2023）的认可。
数据集空间中的机器学习：最优传输视角
大卫·阿尔瓦雷斯，哈佛大学助理教授；新英格兰医学澳门威尼斯人注册网站研究中心高级澳门威尼斯人注册网站研究员
日期：11月29日（周三）下午3点
地点：CDS 548
摘要：在课堂和教科书中，机器学习通常涉及一个单一的、固定的、同质的数据集，在这个数据集上对模型进行训练和评估。但机器学习在实践中很少如此“原始”。在大多数实际应用程序中，干净标记的数据通常很少，因此通常需要利用多个异构数据源。特别是，在训练和测试数据分布之间存在几乎普遍的差异。这种现象被最近出现的大量可重用的“预训练”深度学习模型深刻地放大了，这些模型依赖于大量高度异构的数据集进行训练，然后重新用于各种不同的（通常不相关的）任务。这种新兴的“基于数据集的机器学习”范式需要新的理论和算法工具。在这次演讲中，我将论证“最优运输”提供了一个理想的框架，在这个框架上为这种新范式奠定了基础。它允许我们定义数据集之间语义上有意义的距离，阐明它们之间的对应关系，并在它们之上解决优化目标。通过在数据集选择、迁移学习和数据集塑造方面的应用，我将展示除了享有良好的理论基础之外，这些基于ot的方法还产生了强大的、高度可扩展的、有时令人惊讶的深刻方法。
大卫·阿尔瓦雷斯-梅利斯是哈佛大学SEAS计算机科学助理教授，也是哈佛数据科学倡议、肯普纳澳门威尼斯人注册网站研究所和计算与社会澳门威尼斯人注册网站研究中心（CRCS）的教员。在哈佛大学之前，他在微软新英格兰澳门威尼斯人注册网站研究院工作了几年，作为核心机器学习和统计小组的一员。他的澳门威尼斯人注册网站研究旨在使机器学习更广泛地适用于（特别是数据贫乏的应用程序）和值得信赖（例如，鲁棒性和可解释性）。为此，他借鉴了包括统计学、优化和应用数学在内的各个领域的思想，并从机器学习应用于自然科学中出现的问题中获得灵感。
从理论到实践的学习率调整
Ashok Cutkosky，波士顿大学电子与计算机工程系助理教授
日期和时间：12月7日（周四）下午4:30
地点：CDS 1646
摘要：训练大型神经网络需要对大量所谓的“超参数”进行仔细的调优，不适当的调优会导致性能急剧下降。学习率可能是这类超参数中最重要的一个，在过去的几十年里，人们提出了各种各样的设置这个值的方案，然后流行起来，又不流行起来。尽管许多更受人尊敬的方法（例如亚当优化器）的核心思想直接受到理论的启发，但近年来，在实践中使用的学习率与理论建议的学习率之间存在显著差异。在这次演讲中，我将提供一些近期工作的概述，这些工作可以通过对学习率的新分析来帮助阐明理论/实践差距，这不仅证明了实践中流行的启发式，而且还为改进这些启发式提供了可操作的指导。
简介：Ashok Cutkosky是波士顿大学ECE系的助理教授。此前，他是b谷歌的澳门威尼斯人注册网站研究科学家，并于2018年获得斯坦福大学计算机科学博士学位。他对机器学习和随机优化理论的各个方面都很感兴趣。他广泛澳门威尼斯人注册网站研究了机器学习的优化算法，这些算法可以自适应地调整自己以先验未知的输入数据集的统计特性，以及非凸随机优化。
查看所有帖子