职业：机器学习的无参数优化算法

赞助单位：美国国家科学基金会

奖励编号：2046096

PI：弗朗西斯科·奥拉博纳

机器学习（ML）被描述为下一次工业革命的燃料。然而，目前最先进的机器学习算法仍然严重依赖于人类在循环中才能正常工作。事实上，机器学习算法的训练过程需要大量的人为干预，通过扭曲和调整算法的许多旋钮。此外，大多数时候这种调整过程是在没有任何理论指导的情况下进行的。ML从业者最常见的选择是遵循他们的直觉或详尽地评估所有可能性，这使得训练这些算法所需的总体时间难以预测。在这个项目中，澳门威尼斯人注册网站研究者旨在为机器学习设计真正的无参数训练算法，消除人工参数调优的负担，使机器学习算法更具可扩展性。澳门威尼斯人注册网站研究者还提出了一个教育计划，旨在填补大多数学生心目中理论和应用ML之间的差距。它将涉及与青年科学家数学计划（PROMYS）的合作，向高中学生和澳门威尼斯人注册网站介绍机器学习理论的基本概念，并与女子史密斯学院合作。

该项目源于澳门威尼斯人注册网站研究者最近引入的设计最优无参数优化算法的新方法，例如，针对凸函数的特殊情况，无学习率的随机梯度下降。在这个项目中，澳门威尼斯人注册网站研究者建议超越凸函数。特别地，澳门威尼斯人注册网站研究者计划追求以下相互关联的目标：1。无先验知识学习的计算复杂度。目标是在不假设未知量的情况下，在最坏和“简单”的情况下，充分表征学习的计算复杂性。换句话说，如果一个学习算法需要参数来达到最优性能，目标是充分表征整体的计算复杂度，包括对最优参数的搜索。2. 无参数非凸随机优化。该项目的目标是推广无参数优化的最新结果，以处理现代ML算法中的非凸问题。澳门威尼斯人注册网站研究者计划使用一种新的优化框架，混合了在线镜像下降和双重平均的元素，这两种框架用于设计优化算法。3. 减少深度学习优化中的参数。深度学习模型是机器学习中参数最多的模型。该项目考虑了该项目澳门威尼斯人注册网站研究在广泛使用的深度学习算法中的三种应用：自适应缩放启发式、鞍点优化和高斯过程贝叶斯优化。

更多信息请点击这里