英语原文共 11 页，剩余内容已隐藏，支付完成后下载完整资料
摘要---深度跨模态学习以学习不同数据模式间的联合表示为目标，成功地展示了跨模态多媒体检索的优异性能。不幸的是，很少有研究集中在跨模态相关学习上，其中考虑了音频和歌词等不同数据模式的时间结构。从音乐的时间结构特征出发，我们有动力去学习音频和歌词之间的深层次的序列相关性。在这项工作中，我们提出了一个包含两个分支的深层跨模态相关学习架构，用于音频模态和文本模态（歌词）。将不同模态数据转换为同一个典型空间，利用模态间典型相关分析作为目标函数，计算时间结构的相似性。这是第一个通过学习音频和歌词的成对时间相关性的深层结构来理解语言和音乐音频之间的相关性的研究。使用预先训练的Doc2vec模型，然后是完全连接的层（完全连接的深层神经网络）来表示歌词。在音频分支中有两个重要的贡献：i）研究了预先训练的CNN和完全连接的层来表示音乐音频。ii）我们进一步提出了一种端到端的体系结构，它同时训练卷积层和完全连接层，以便更好地学习音乐音频的时间结构。特别地，我们的端到端深层架构包含两个特性：同时实现特征学习和跨模态相关学习，以及通过考虑时间结构来学习联合表示。实验结果验证了所提出的深度相关学习结构在跨模态音乐检索中的有效性
索引项卷积神经网络，深度跨模态模型，音词相关学习，跨模态音乐检索，音乐知识发现
给定特定的歌曲标题时，如图1所示的歌曲歌词。然而，用这种方式搜索歌词是不够的，因为有时人们可能缺乏确切的歌曲标题，但知道一段音乐音频，或想搜索一个音频曲目与部分歌词。然后，一个自然的问题出现了：如何通过音乐音频片段检索歌词，反之亦然？
几年前，由于大量音乐音频和歌词的有限可用性，按音频搜索歌词几乎是不可能的。来自YouTube、Metrolycs、Az歌词和Genius等音乐共享网站的大量在线音乐音频和歌词显示了利用互联网上大量跨模式音乐数据从基于内容的音频和歌词中理解音乐知识的机会。
摘要由于音频内容和歌词是理解歌曲所要传达给我们的文化和活动的基本方面，本研究关注跨模态音乐检索中音频和歌词之间的深层关联学习，并考虑了两个现实任务：使用音频检索歌词或者用歌词检索音频。本文的主要贡献如下：
i） 据我们所知，这项工作是第一个研究，其中深入的相关学习架构与两个分支的神经网络和相关学习模型的研究，为跨模态音乐检索使用音频或歌词作为查询模态。
ii）不同的音乐模态数据被投射到共享空间，其中模态间典型相关分析是
当给定特定的歌曲标题时，如图1所示的歌曲歌词。然而，用这种方式搜索歌词是不够的，因为有时人们可能缺乏确切的歌曲标题，但知道一段音乐音频，或想搜索一个音频曲目与部分歌词。然后，一个自然的问题出现了：如何通过音乐音频片段检索歌词，反之亦然？
几年前，由于大量音乐音频和歌词的有限可用性，按音频搜索歌词几乎是不可能的。来自YouTube、Metrolycs、Az歌词和Genius等音乐共享网站的大量在线音乐音频和歌词显示了利用互联网上大量跨模式音乐数据从基于内容的音频和歌词中理解音乐知识的机会。
摘要由于音频内容和歌词是理解歌曲所要传达给我们的文化和活动的基本方面，本研究关注跨模态音乐检索中音频和歌词之间的深层关联学习，并考虑了两个现实任务：使用音频检索歌词或者用歌词检索音频。本文的主要贡献如下：
i） 据我们所知，这项工作是第一个研究，其中深入的相关学习架构与两个分支的神经网络和相关学习模型的研究，为跨模态音乐检索使用音频或歌词作为查询模态。
ii）不同的音乐模态数据被投射到共享空间，其中模态间典型相关分析是。
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[235354]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
