机器学习在亚马逊Alexa和音乐生成中的力量

Brian Kulis副教授(ECE, CS, CDS, SE)

每天都有数以百万计的人在网上查找信息。它已经成为一种习惯,成为我们生活中理所当然的一部分——我们可以为此感谢机器学习。机器学习是一种与计算机算法一起工作的人工智能。它使用数据和统计数据来进行预测,并试图模仿人类的学习方式。

CISE教员会员Brian Kulis在机器学习领域工作。库利斯是波士顿大学副教授(ECE、CS、CDS、SE),也是亚马逊Alexa学者。虽然Kulis最初专注于无监督机器学习,但他最近的澳门威尼斯人注册网站研究重点是各种核心机器学习问题,以及应用机器学习,如音乐生成和亚马逊Alexa应用程序。

在将机器学习应用于与数据相关的应用程序时,Kulis通常首先设计一个算法,然后调整该算法以适用于不同的应用程序。然而,库利斯说,也可以从应用程序开始,从那里构建算法。这是他的一些学生在他的构建实验室里所做的。几年前,大学生Rachel Manzelli和Vijay Thakkar开始了创作音乐的项目。在那里,硕士生Yousif Khaireddin和Krishna Palle以及博士生Sadie Allen也参与了这个项目。

库利斯说,他们一直在从应用(构建模型的技术)和理论(模型背后的算法)的角度来解决这个问题。

Kulis在生成音乐方面的工作试图将生成原始音频的模型和生成音符的模型结合起来。生成原始音频可能更困难,因为它不能再现音符,但它有它的优点,因为它可以产生不同的声音。通过结合这两个模型,他和他的团队能够构建歌曲的象征性版本,然后添加原始音频的成分,使音乐听起来更自然。

库利斯说,他对这些模型进行了音乐训练,使它们能够开始创作音乐。

库利斯说:“你给它训练数据,在这种情况下,训练数据是针对原始音频模型的,也就是音乐的录音。”“然后这个模型要做的是,它会建立一个模型,说,‘好吧,如果我听了一秒钟的音频,从这个轨道,我将尝试预测下一小段音频是什么样子的。’”

自动生成音乐对Spotify这样的应用程序是有益的,它们可能不想花很多钱雇人来创作背景音乐。这也是为了帮助艺术家创作音乐。

库利斯说:“实际上,我们感兴趣的不仅仅是让艺术家们脱离这个圈子。“我们也想在创作过程中帮助艺术家。所以有一些音乐家使用人工智能工具来帮助他们创作旋律的例子。”

库利斯还积极参与行业澳门威尼斯人注册网站研究。作为一名亚马逊学者,他正在努力提高Alexa对其名称做出反应的准确性。这是由唤醒词“Alexa”触发的。

为了消除当设备认为它的名字被说出时可能发生的错误唤醒,该设备在硬件上有一个分类器,它会不断尝试确定Alexa是否应该响应。当Alexa在云端确认这个人说了“Alexa”这个词时,它就会做出回应。从本质上讲,音频被转换成频谱图,这使得声音可以被视觉捕获。如果频谱图与Alexa说话时产生的声音频谱图相匹配,那么设备就会做出响应。

一旦设备识别到自己已经被唤醒,它就会记录下用户所说的话,这样它就可以将信息发送到数千英里之外的云端。这一切都在几毫秒内无缝地发生。库利斯和他的团队通过在云端建立一个验证唤醒词的辅助网络来消除虚假唤醒。库利斯在一篇题为《构建一个健壮的词级验证网络》的论文中分享了这项工作的发现。

作为波士顿大学的副教授,Kulis开设了两门课程:面向本科生的“机器学习入门”课程和面向澳门威尼斯人注册网站研究生的“深度学习”课程。他说,许多学生在学习了这些课程后进入了工业界,他希望通过他在机器学习方面的工作来影响其他人。

库利斯在一封电子邮件中写道,机器学习通过自动化数据分析和更快地推动澳门威尼斯人注册网站研究进展,在改善患者预后方面使社会受益。他还说,这已经影响到日常生活。

库利斯说:“每次我们使用谷歌或进行任何在线搜索时,我们都在使用机器学习。”“音频的机器学习改变了我们与计算机的互动方式,而自动驾驶汽车总有一天会拯救成千上万人的生命。”

作者:Zoe Tseng, CISE特约撰稿人

机器学习在亚马逊Alexa和音乐生成中的力量

3年前发表于*NEWS, Brian Kulis,欧洲经委会-数据科学和智能系统,欧洲经委会-移动/云计算和网络安全,欧洲经委会学院,欧洲经委会澳门威尼斯人注册网站研究,电气和计算机工程

标签:BU ECE,电气和计算机工程