CDS春季研讨会系列
CDS研讨会系列的发展是为了在学术单位内外建立一个知识分子社区。自成立以来，该系列已经欢迎了数十位学者，并为CDS的教职员工和学生提供服务。然而，我们欢迎来自波士顿大学校园内外的兴趣。
要查看所有即将到来的讲座，活动和节目，请访问CDS日历。
过去的谈判
2025年3月3日，星期一
重新思考人工智能代理：以人为中心的强化学习
Stephanie Milani，卡内基梅隆大学机器学习系的博士澳门威尼斯人注册网站研究生
时间：上午10:00 - 11:00 |地点：CDS 1646（现场活动）
摘要：人工智能代理将很快像智能手机一样普及。这些智能体将做出一系列影响人类生活的相互关联的决策——从在医疗保健中提供决策支持，到为数百万学生塑造教育路径。人工智能未来面临的一个决定性挑战是如何构建能够有效地在这些人类环境中运行并适应这些环境的代理。
在这次演讲中，Stephanie展示了以人为中心的强化学习如何为开发更好的人工智能代理提供了一种有前途的方法。她展示了我们如何利用以人为本的设计来构建符合现实世界需求的逼真患者模拟。然而，现实世界的任务往往过于复杂，无法用手工制定的规则完全定义，这使得人类反馈成为人工智能学习的重要工具。为了解决这个问题，Stephanie强调了他们在建立从人类反馈中学习的基准方面的工作。然后，谈到人工智能透明度的目标，她展示了我们如何学习人类可以理解的决策政策。总之，这项工作说明了以人为中心的强化学习是开发人工智能代理的一种有价值的方法，可以向他们影响生活的人学习并为他们学习。
简介：Stephanie Milani是卡内基梅隆大学机器学习系的博士澳门威尼斯人注册网站研究生。她的澳门威尼斯人注册网站研究重点是构建强化学习代理，以解决以人为中心和用例启发的挑战。Stephanie是2024年负责任的数据科学和人工智能领域的未来领导者，也是数据科学领域的新星。她的澳门威尼斯人注册网站研究已在顶级机器学习和人机交互场所发表，包括ICLR， NeurIPS和CHI。它还获得了ICML MFM-EAI研讨会的杰出论文奖和NeurIPS GenAI4Health研讨会的最佳论文奖。在澳门威尼斯人注册网站研究之外，她获得了CMU机器学习TA奖，在NeurIPS共同组织了MineRL国际竞赛系列，并因其对计算机科学教育的服务而获得纽曼公民奖学金。
2025年2月26日，星期三
生成模型的概率推理：用统计见解实现科学发现
吴鲁欢，哥伦比亚大学统计系博士澳门威尼斯人注册网站研究生，师从David Blei教授和John Cunningham教授。
时间：上午10:00 - 11:00 |地点：CDS 1646（现场活动）
摘要：在领域数据上广泛训练的生成模型具有巨大的科学发现潜力，但要发挥其效用，需要有原则的统计工具来提取有意义的见解。在这次演讲中，Luhan将介绍她为扩散模型开发条件推理方法的工作——扩散模型是一类生成模型，在蛋白质设计、图像生成等方面取得了突破。通过利用顺序蒙特卡罗框架，她的方法能够从满足特定领域约束的预训练扩散模型中高效准确地采样输出。她将展示其在蛋白质设计任务中的成功，该方法生成具有所需功能段的蛋白质结构。在这项工作的基础上，她将概述她的愿景，建立一个可扩展和可靠的概率机器学习框架，将统计学、生成模型和现代科学挑战联系起来。
作者简介：吴鲁欢，哥伦比亚大学统计学系博士澳门威尼斯人注册网站研究生。大卫·布莱和约翰·坎宁安。她的澳门威尼斯人注册网站研究重点是开发概率机器学习方法，以解决现代科学应用中的挑战，包括天体物理学、生物学和蛋白质科学。她的工作涉及大规模时空建模、近似推理、深度生成模型、不确定性量化和贝叶斯建模。
2025年2月24日，星期一
通过理解训练来理解语言模型
哈佛大学肯普纳澳门威尼斯人注册网站研究所的澳门威尼斯人注册网站研究员娜奥米·萨弗拉说
时间：上午10:00 - 11:00 |地点：CDS 1646（现场活动）
摘要：LMs的效果比五年前任何人所能预测的都要好。但它们什么时候起作用，什么时候不起作用呢？它们是如何工作的，又是如何失败的？为什么他们会工作？为什么他们会行为不端？最后一个问题——为什么？——不能仅通过检查训练有素的lm来回答。我们必须了解产生LM行为的潜在因素，这是一种基于训练过程的理解。对于给定的体系结构，训练是一个包含三种成分的配方：时间、数据和运气。Naomi将通过控制实验、检查和操纵训练来讨论这些因素。这些实验回答了语言模型为什么会学习的基本问题。训练突破如何产生语言能力？训练数据组合如何决定模型的能力？什么时候输出行为依赖于随机初始化？通过回答这些问题，我们可以揭示为什么现代深度学习如此有效的基本真相，甚至揭示推理本身的本质。
Naomi Saphra是哈佛大学Kempner澳门威尼斯人注册网站研究所的澳门威尼斯人注册网站研究员，致力于理解NLP训练动态：模型如何学习编码语言模式或其他结构，泛化如何发展，以及我们如何在训练过程中引入有用的归纳偏差。她对应用进化生物学的框架来理解神经网络特别感兴趣。最近，萨弗拉博士对鱼产生了兴趣。此前，她在爱丁堡大学获得神经语言模型训练动力学博士学位，并在纽约大学、b谷歌和Facebook工作。为了好玩，她写了澳门威尼斯人注册机器学习现状的历史和元科学调查。在澳门威尼斯人注册网站研究之余，她以“高斯报应”的名义玩轮滑，表演单口喜剧，并引导残疾程序员进入代码听写的世界。
2025年2月20日，星期四
以人为本的评估推进负责任的人工智能
Sunnie S. Y. Kim，普林斯顿大学计算机科学博士候选人，由Olga Russakovsky指导。
时间：上午10:00 - 11:00 |地点：CDS 1646（现场活动）
摘要：随着人工智能技术日益改变我们的生活、工作和交流方式，人工智能评估必须采取以人为本的方法，以真实地反映现实世界的表现和影响。在这次演讲中，Sunnie将讨论如何通过整合AI和HCI的知识和方法来推进以人为本的评估，以及随后负责任的AI开发。首先，以可解释的人工智能为例，她将强调人类（而不是自动）评估的挑战和必要性。其次，她将用真实用户说明情境化评估的重要性，重新审视可解释的人工智能澳门威尼斯人注册网站研究中的关键假设。最后，Sunnie将展示人类与人工智能交互的经验见解，展示用户如何感知和采取常见的人工智能行为（例如，提供解释和来源的法学硕士）。讲座的最后将讨论这些发现的含义以及负责任的人工智能发展的未来方向。
简介：Sunnie S. Y. Kim是普林斯顿大学计算机科学博士澳门威尼斯人注册网站研究生，导师是Olga Russakovsky。她的澳门威尼斯人注册网站研究方向是负责任的人工智能和人类与人工智能的互动——具体来说，是提高人工智能系统的可解释性和公平性，帮助人们对它们有适当的理解和信任。她的澳门威尼斯人注册网站研究已在人工智能和人工智能领域（如CVPR、ECCV、CHI、FAccT）发表，并组织了多个连接两个社区的研讨会。她曾获得NSF GRFP， Siebel Scholars和EECS新星的认可，并曾在微软澳门威尼斯人注册网站研究院与FATE小组实习。在进入澳门威尼斯人注册网站研究生院之前，她获得了耶鲁大学统计和数据科学学士学位，并在芝加哥丰田技术澳门威尼斯人注册网站研究所工作了一年。https://sunniesuhyoung.github.io/
星期二，2025年2月18日
为不精确的人类训练精确的语言模型
艾伦人工智能澳门威尼斯人注册网站研究所和华盛顿大学的博士后澳门威尼斯人注册网站研究员瓦伦蒂娜·皮亚特金（Valentina Pyatkin），由蔡烨真教授担任顾问。
时间：上午10:00 - 11:00 |地点：CDS 1646（现场活动）
摘要：本演讲探讨了通过后训练来增强语言模型能力的方法。虽然大型语言模型在自然语言处理方面取得了重大突破，但由于语言固有的模糊性和不规范，仍然存在重大挑战。我将介绍从不规范（偏好建模）到完全规范（遵循可验证约束的精确指令）的范围，并提出建模方法来提高语言模型的上下文鲁棒性和准确性。
Valentina将演示模型如何通过合成数据、偏好调整和可验证奖励的强化学习，成为更精确的指令追随者。她将讨论泛化挑战后的约束教学，并提出改进的培训后方法。在偏好数据方面，她将说明注释中的分歧模式，展示分歧是如何源于规格不足的，并提出布拉德利-特里奖励模型的替代方案，以捕获多元偏好。
讲座最后通过一种新方法将欠规范和强化学习联系起来：强化澄清问题生成，这有助于模型获得缺失的上下文信息，这些信息对做出预测至关重要。在整个演讲过程中，Valentina将综合这些澳门威尼斯人注册网站研究线索，以展示在面对规格不足时，训练后方法如何提高模型的可操作性和上下文理解。
简介：Valentina Pyatkin是艾伦人工智能澳门威尼斯人注册网站研究所和华盛顿大学的博士后澳门威尼斯人注册网站研究员，导师是Yejin Choi教授。她还获得了埃里克和温迪·施密特博士后奖。她在巴伊兰大学自然语言处理实验室获得计算机科学博士学位。她的作品曾被授予ACL杰出论文奖和ACL最佳主题论文奖。在博士学习期间，她在b谷歌和艾伦人工智能澳门威尼斯人注册网站研究所进行了澳门威尼斯人注册网站研究实习，并获得了AI2年度杰出实习生奖。她拥有爱丁堡大学理学硕士学位和苏黎世大学文学学士学位。Valentina的澳门威尼斯人注册网站研究重点是语言模型的后训练和适应，特别是使他们成为更好的语义和语用推理者。https://valentinapy.github.io/
2025年2月13日，星期四
引导交互代理的机器学习生态系统
Meena Jagadeesan是加州大学伯克利分校计算机科学专业的五年级博士生，她的导师是Michael I. Jordan和Jacob Steinhardt。
时间：上午10:00 - 11:00 |地点：CDS 1646（现场活动）
摘要：现代机器学习模型——如法学硕士和推荐系统——在更广泛的生态系统中与人类、公司和其他模型进行交互。然而，这些多智能体的相互作用往往会导致意想不到的生态系统级结果，例如经典内容推荐生态系统中的点击党，以及最近新生的法学硕士生态系统中的安全违规和市场集中。
在这次演讲中，Meena将讨论她在描述和指导生态系统级结果方面的澳门威尼斯人注册网站研究。她将从经济和统计角度澳门威尼斯人注册网站研究机器学习生态系统，将结果追溯到相互作用代理的激励和机器学习训练模型的管道。首先，在LLM生态系统中，我们展示了孤立地分析单个模型如何无法捕获生态系统级别的性能趋势：例如，使用更多资源训练模型可能会违反直觉地损害生态系统级别的性能。为了帮助引导生态系统层面的结果，我们开发了技术工具来评估拟议的政策干预如何影响市场进入、安全合规和用户福利。然后，转向内容推荐生态系统，我们描述了推荐系统和内容创作者之间的反馈循环，这决定了内容供应的多样性和质量。最后，她将展示机器学习生态系统的更广阔视野，其中多智能体交互被引导到所需的算法、市场和社会结果。
简介：Meena Jagadeesan是加州大学伯克利分校计算机科学专业的五年级博士生，她的导师是Michael I. Jordan和Jacob Steinhardt。她的澳门威尼斯人注册网站研究从经济和统计的角度澳门威尼斯人注册网站研究了机器学习生态系统中的多智能体相互作用。她获得了开放慈善AI奖学金和保罗和黛西·索罗斯奖学金。https://mjagadeesan.github.io/
2025年2月10日，星期一
社会预测的现代基础
胡安·佩尔多莫，哈佛计算与社会澳门威尼斯人注册网站研究中心的博士后，由辛西娅·德沃克担任顾问。
时间：上午10:00 - 11:00 |地点：CDS 1646（现场活动）
摘要：机器学习擅长模式识别。然而，当我们在社交环境中部署学习算法时，我们的目标不仅仅是检测模式；我们用预测来塑造结果。这种动态的相互作用，即我们利用历史数据来构建影响未来行为的系统，强调了预测作为社会模式的透镜和引擎的作用。它还激励我们作为澳门威尼斯人注册网站研究人员探索新的问题，如我们可以影响哪些模式，如何设计预测系统，以及如何评估它们对社会的影响。
胡安将首先介绍他在行为预测方面的见解：一个形式化社会预测动态方面的学习理论框架。在第二部分，Juan将提出一个实证案例澳门威尼斯人注册网站研究，评估风险预测工具的影响，该工具用于每年为数十万公立学校学生分配干预措施。最后，他将讨论未来的工作和面临的挑战。
个人简介：Juan在加州大学伯克利分校获得博士学位，在那里他的共同顾问是Peter Bartlett和Moritz Hardt。他的澳门威尼斯人注册网站研究重点是机器学习在社会中的理论和经验基础。网站:https://jcperdomo.org/
星期二，2025年1月21日
GPU之外的思考：可扩展机器学习管道的系统
Mark Zhao是斯坦福大学博士澳门威尼斯人注册网站研究生的最后一年，他的导师是Christos Kozyrakis。
时间：上午10:00 - 11:00 |地点：CDS 1646（现场活动）
摘要：可扩展和高效的机器学习（ML）系统在推动ML功能的最新进展方面发挥了重要作用。然而，进一步扩展这些系统需要的不仅仅是增加加速器的数量和性能。这是因为现代机器学习部署依赖于由许多不同且相互连接的系统组成的复杂管道。
在这次演讲中，Mark将强调在整个机器学习管道中构建可扩展系统的重要性。Mark将特别探讨大规模机器学习训练管道（包括部署在Meta上的管道）如何需要分布式数据存储和摄取系统来管理大规模训练数据集。随着数据需求的不断增长，优化这些数据系统至关重要。为了实现这一目标，Mark将演示跨训练数据管道的协同优化如何解锁性能和效率，而不是孤立的系统优化所能实现的。虽然这些协同优化是至关重要的，但部署它们需要导航一个大的系统设计空间。为了应对这一挑战，Mark将介绍Cedar，这是一个框架，可以自动优化和编排ML数据处理的各种训练工作负载。最后，他将讨论进一步提高硬件和软件系统的可扩展性、安全性和功能的机会，这些系统将继续推动日益复杂的机器学习训练和推理管道。
Mark的澳门威尼斯人注册网站研究通过利用跨计算堆栈的工具构建端到端机器学习部署系统，包括计算机系统、计算机体系结构、安全性、数据库和机器学习。他曾获得IEEE标准普尔杰出实用论文奖，硬件和嵌入式安全奖，以及MLCommons ML和系统新星奖。他的工作得到了斯坦福大学澳门威尼斯人注册网站研究生奖学金和Meta博士学位的慷慨支持。AI系统SW/HW协同设计奖学金。网站:https://web.stanford.edu/ ~ myzhao /。
星期三，2025年1月22日
面向可扩展AI和大数据的性能工程
陈旭豪是麻省理工学院CSAIL的澳门威尼斯人注册网站研究科学家。
时间：下午2:30 - 3:30 |地点：CDS 1646（现场活动）
摘要：人工智能应用的计算成本高且难以扩展，这给计算机系统设计带来了巨大挑战。在这次演讲中，徐浩将介绍他的跨堆栈性能工程方法来应对这一挑战。这种方法涉及跨系统堆栈的不同层（包括算法、软件和硬件）的性能优化技术和自动化方法。他将分享他为图形模式挖掘（GPM）构建系统的经验，GPM是一组重要的数据库和数据挖掘算法。第一个系统是Scale-GPM，一个算法和软件协同设计的GPM系统。
接下来，他将讨论Pangolin，这是第一个专门用于gpu加速的软件编程系统。与穿山甲互补的是FlexMiner，这是一款专用硬件加速器，旨在进一步提高GPM的效率。在整个演讲中，他将展示令人信服的结果，以强调交叉堆栈方法的有效性和巨大潜力。
陈博士对并行系统和架构有着广泛的兴趣，专注于人工智能和大数据应用。他最近的工作旨在通过设计高效的算法、软件系统和硬件加速器，使人工智能具有可扩展性。论文发表于VLDB、OSDI、ISCA、MICRO、ICS等。网站:https://www.csail.mit.edu/person/xuhao-chen。
2025年1月23日，星期四
通过新系统和抽象实现的实际隐私遵从性
Kinan Dak Albab是布朗大学的博士候选人，由Malte Schwarzkopf提供建议。
时间：下午3:30 - 4:30 |地点：CDS 1646（现场活动）
摘要：数据隐私已成为公众讨论的焦点。作为回应，全球已经制定了数据保护和隐私法规，包括GDPR和CCPA，公司在其隐私政策中对最终用户做出了各种承诺。然而，高调的隐私侵犯仍然很常见，部分原因是遵守隐私法规和政策对应用程序和开发人员来说是一个挑战。
这次演讲展示了Kinan和澳门威尼斯人注册网站研究人员可以通过设计新的隐私意识系统和抽象来帮助开发人员实现隐私遵从。这次演讲的重点是他在Sesame （SOSP24）上的工作，这是我在web应用程序中端到端遵守隐私政策的系统。为了提供实际的保证，Sesame将数据泄漏的新静态分析与内存安全语言和轻量级沙箱的进步以及代码审查等标准行业实践相结合。Kinan在这一领域的工作还包括K9db (OSDI23)，这是一个符合隐私标准的数据库，支持通过构建gdpr风格的主题访问请求来实现合规。通过在系统级创建隐私抽象，我们可以在设计上为应用程序提供隐私保证，从而简化遵从性并改善最终用户隐私。
Kinan对构建真实的系统和实用工具感兴趣，以使用计算机系统、密码学和编程语言的技术来改善现实世界中的隐私。他的软件已在现实世界中用于为社会公益执行隐私保护分析，并验证b谷歌的下一代SDN网络交换机。网站:https://www.babman.io/。
2025年1月27日，星期一
超越下一代机器学习系统中的模型加速
蒋文琪是苏黎世联邦理工学院的一名五年级博士生，导师是古斯塔沃·阿隆索和托尔斯滕·霍夫勒。
时间：上午10:00 - 11:00 b|地点：cd1646
摘要：尽管大型语言模型（llm）最近很流行，但八年前发明的变压器神经网络在很大程度上没有改变。它提出了这样一个问题：机器学习（ML）系统澳门威尼斯人注册网站研究是否仅仅是澳门威尼斯人注册改进张量操作的硬件和软件。在这次演讲中，文琪将论证机器学习系统的未来将远远超出模型加速。以日益流行的检索增强生成（RAG）范例为例，他们将表明，ML系统日益增长的复杂性需要跨越数据管理、系统、计算机体系结构和ML的深度协作。
文琪将介绍该领域的两部开创性作品《RAGO》和《变色龙》。RAGO是检索增强生成的第一个系统性能澳门威尼斯人注册网站研究。它揭示了矢量数据系统和模型之间复杂的交互，揭示了不同RAG工作负载之间截然不同的性能特征。为了适应这种复杂的环境，RAGO引入了一个系统优化框架来探索任意RAG算法的最佳系统配置。在这些见解的基础上，文奇将介绍变色龙，这是第一个面向RAG的异构加速器系统。变色龙在分解的体系结构中结合了LLM和检索加速器。异构性确保了LLM推理和检索的高效服务，而分解支持不同系统组件的独立扩展，以适应不同的RAG工作负载需求。Wenqi将通过强调未来机器学习系统的跨栈协同设计的必要性以及我们面前的丰富机会来结束演讲。
文奇旨在实现更高效的下一代机器学习系统。Wenqi的澳门威尼斯人注册网站研究并不是专注于计算堆栈中的单个层，而是跨越了数据管理、计算机系统和计算机体系结构的交叉点。他的工作推动了几个领域的进步，包括检索增强生成（RAG）、向量搜索和推荐系统。这些贡献为他赢得了ML和系统新星之一的认可，以及AMD HACC杰出澳门威尼斯人注册网站研究员奖。网站:https://wenqijiang.github.io/。
星期二，2025年1月28日
在边缘推进高效和可信赖的人工智能
孙景伟，杜克大学ECE专业最后一年的博士生，导师是陈怡然教授。
时间：上午10:00 - 11:00 b|地点：cd1646
摘要：边缘人工智能使智能更接近用户，在保持数据隐私的同时实现实时、个性化的交互。然而，对边缘设备的日益依赖带来了两个重大挑战：确保在资源受限的环境中高效的人工智能操作，并解决可信度问题，以保护敏感的设备上数据。在本次演讲中，经纬将首先讨论边缘设备上的高效模型训练和个性化，重点讨论消除反向传播需求以减少计算和内存成本的方法。然后，他们将介绍澳门威尼斯人注册增强边缘人工智能的隐私性和鲁棒性的工作，介绍保护数据完整性和防御对抗性威胁的策略。这些努力解决了关键的限制，并为高效和值得信赖的边缘人工智能解决方案铺平了道路。
经纬的澳门威尼斯人注册网站研究重点是高效、可信赖的边缘智能系统。他的作品出现在NeurIPS， ICML， CVPR和ICCV等人工智能会议上，以及MobiCom， SenSys和MLsys等系统会议上。他曾获得AAAI春季系列研讨会2024年最佳论文奖。网站:https://jingwei-sun.com/。