英语原文共 7 页，剩余内容已隐藏，支付完成后下载完整资料
英文译文：
基于深度学习的推荐系统：概述与新观点
张帅，新南威尔士大学，姚丽娜，新南威尔士大学孙，爱新，南洋理工大学，亿泰，南洋理工大学
1 简介
推荐系统可以防止消费者选择过多。鉴于网络上可用信息的爆炸性增长，用户常常会收到不计其数的关于产品、电影或饭店的信息。因此，个性化是促进用户拥有更好体验的基本策略。目前，推荐系统在各种信息访问系统中一直起着至关重要、不可或缺的作用，其促进了业务发展和决策过程[69，121]，并且遍及电子商务和/或媒体网站等众多网络领域。通常，推荐列表是基于用户偏好、物品特征和用户-物品过去的交互，以及时间数据（例如序列感知推荐器）和空间数据（例如POI推荐器）这样的附加信息而生成的。推荐系统主要根据输入数据的类型分为协同过滤，基于内容的推荐系统和混合推荐系统[1]。目前，深度学习正在被大肆宣传。过去的几十年内，人们见证了深度学习（DL）在许多应用领域（例如计算机视觉和语音识别）中的巨大成功。由于深度学习能够在解决许多复杂的任务的同时取得优秀的成果[27]，学术界和工业界一直争相将其应用得更加广泛。近期，深度学习一直在快速地革新推荐架构，并为推荐器性能的提高提供了更多机会。由于基于深度学习的推荐系统克服了常规模型的障碍并实现了高推荐质量，其最新进展已引起广泛关注。深度学习能够有效地捕获非线性和非平凡的用户-物品关系，并能将更复杂的抽象编码为更高层中的数据表示。此外，它能够从大量可访问的数据源（例如上下文，文本和视觉信息）中捕获数据本身的复杂关系。
推荐系统中深度学习的普遍性。在行业中，推荐系统是许多在线网站和移动应用程序优化用户体验和推销产品/服务的关键工具[20、27、30、43、113]。例如，Netflix上用户观看的电影有80％来自推荐[43]，YouTube上用户点击的视频有60％来自首页推荐[30]。最近，许多公司采用深度学习来进一步提高推荐质量[20，27，113]。Covington等[27]提出了一种基于深度神经网络的推荐算法，用于YouTube上的视频推荐。程等[20]为Google Play提出了一个基于wideamp;deep模型的应用推荐系统。Shumpei等[113]提出了基于RNN的Yahoo News新闻推荐系统。所有这些模型都经过了在线测试，并且相比传统模型有了更显著的改进。因此，我们可以看到，深度学习已在行业推荐应用领域掀起了一场变革。这些年来，基于深度学习推荐算法的研究出版物数量呈指数增长，这为深度学习在推荐系统研究中的普及提供了有力的证据。自2016年以来，领先的国际推荐系统会议RecSys开始定期组织关于基于深度学习的推荐算法的研讨会。该研讨会旨在促进基于深度学习的推荐系统的研究与应用。用于推荐系统的深度学习算法在学术界和行业中的成功，需要被进行全面的综述和总结，以让如今接连涌现的研究人员和从业人员能更好地了解这些模型的优缺点与应用场景。
此概述与以前的概述有什么区别？在基于深度学习的推荐领域中已经存在大量研究。然而，据我们所知，很少有系统性的综述能够很好描述地这一领域并定位现存工作与当前进展。尽管已有一些系统应用程序探索了基于深度学习技术的推荐系统，学术界也进行了一些试图使该研究领域正式化的工作，但很少有人试图对当前工作进行深入总结、或详细介绍该领域存在的未解决问题。这项概述旨在提供当前关于深度学习的推荐系统研究的全面摘要，以找出当前限制其在现实世界应用的开放性问题，并指出这个领域的未来方向。在过去的几年中，已有许多对于传统推荐系统的概述。例如，Su等[138]提出了有关协同过滤推荐系统的系统性综述；伯克（Burke）等人[8]提出了关于混合推荐系统的全面概述；Fernacute;andez-Tobacute;ıas等[40]和Khan等[74]对跨域推荐模型进行了概述；仅举几例。但是，对于基于深度学习的推荐系统缺乏全面的概述。据我们所知，只有两个相关的简短概述[7，97]被正式发表。Betru等[7]引入了三种基于深度学习的推荐模型[123，153，159]，尽管这三项工作在该研究领域中具有影响力，但其却使学术界忽视了其他新兴的高质量著作。刘等[97]对13篇有关深度学习的论文进行了综述，并建议根据输入（使用内容信息的方法和不使用内容信息的方法）和输出（评分和排名）的形式对这些模型进行分类。然而，随着最新的研究工作不断出现，该分类框架已不再适用，并且需要新的包容性框架以更好地理解该研究领域。鉴于推荐系统中深度学习应用的普及度与潜力不断提高，系统性的概述将具有很高的科学与实用价值。我们从不同的角度分析了这些工作，并提出了一些对该领域的新见解。为此，本次概述筛选了100多项研究并进行了分类。
我们如何收集文献？在这概述中，我们收集了一百多篇相关论文。我们使用Google Scholar作为主要搜索引擎，我们还采用了Web of Science数据库作为发现相关论文的重要工具。此外，我们筛选了大多数相关的知名会议，例如NIPS、ICML、ICLR、KDD、WWW、SIGIR、WSDM、RecSys等以找出最近的工作。我们使用的主要关键字包括：推荐系统、推荐、深度学习、神经网络、协同过滤、矩阵分解等。
这项概述的贡献。这项概述的目的是全面总结促进了基于深度学习的推荐系统进步的相关文献。它提供了一个全景图，读者可以通过它来快速理解并进入基于深度学习的推荐领域。这项概述奠定了在推荐系统方面进行创新的基础，并充分挖掘了该研究领域的丰富性。这项概述为对推荐系统感兴趣的研究人员、从业人员和教育者提供服务，希望他们在选择深度神经网络解决手头的推荐任务时能得到粗略的指导。本次概述的主要贡献包括三个方面：（1）我们对基于深度学习技术的推荐模型进行了系统的概述，并提出了分类方案以定位和组织当前的工作；（2）我们提供了最新技术的概述和总结。（3）我们讨论了目前所面临的挑战和悬而未决的问题，并确定了该研究领域中的新趋势和未来方向，以扩大基于深度学习的推荐系统研究的视野。本文的其余部分安排如下：第2部分介绍了推荐系统和深度神经网络的预备知识，我们还讨论了基于深度神经网络的推荐模型的优缺点。第3部分首先介绍了我们的分类框架，然后详细介绍了最新技术。第4部分讨论了所面临的挑战和突出的开放性研究问题。第5部分总结全文。
2 推荐系统和深度学习的概述
在深入概述之前，我们先介绍有关推荐系统和深度学习技术的基本术语和概念。我们还将讨论将深度神经网络引入推荐系统的原因和动机。
2.1 推荐系统
推荐系统估算用户对物品的偏爱，并主动推荐用户可能喜欢的物品[1，121]。推荐模型通常分为三类[1，69]：协同过滤，基于内容的和混合推荐系统。协同过滤推荐系统从用户与物品的历史相互作用中学习来做出推荐，这些历史相互作用既可以是显式的反馈（例如:用户以前的评分），也可以是隐式的反馈（例如:浏览历史）。基于内容的推荐主要基于物品和用户辅助信息之间的比较。可以考虑各种辅助信息，例如文本、图像和视频。混合模型是指结合了两种或两种以上推荐策略的推荐系统[8，69]。
假设我们有M个用户和N个物品，R表示交互矩阵，表示预测的交互矩阵。令表示用户u对物品i的偏好，而表示预测分数。同时，我们使用部分观察到的向量（R的行）来表示每个用户u，并且使用部分观察到的向量（R的列）来表示每个物品i。和表示观察到的和未观察到的相互作用集合。我们用和来表示用户和物品的潜在因子。k是潜在因子的维数。此外，还可以考虑使用诸如时间戳之类的序列信息来做出可感知序列的推荐。其他符号和表示方法将在相应的章节中介绍。
2.2 深度学习技术
深度学习通常被认为是机器学习的子领域。深度学习的典型定义的本质是它学习深度表示，即从数据中学习表示和抽象的多个级别。出于实际原因，我们将任何神经可区分的架构都视为“深度学习”，只要它使用随机梯度下降（SGD）的变体优化可区分的目标函数。神经架构在有监督和无监督的学习任务中都取得了巨大的成功[31]。在本小节中，我们将阐明与本次概述密切相关的各种架构范式。
bull;多层感知器（MLP）是一种前馈神经网络，在输入层和输出层之间具有多个（一个或多个）隐藏层。感知器可以采用任意激活函数，并且不一定代表严格的二进制分类器。可以将MLP理解为非线性变换的堆叠层，以学习层次特征表示。MLP也被称为通用逼近器。
bull;自动编码器（AE）是一种无监督的模型，它试图在输出层中重建其输入数据。通常，瓶颈层（最中间的层）用作输入数据的显着特征表示。自动编码器有很多变体，例如降噪自动编码器、边缘化降噪自动编码器、稀疏自动编码器、压缩自动编码器和可变自动编码器（VAE）[15，45]。
bull;卷积神经网络（CNN）[45]是一种特殊的前馈神经网络，具有卷积层和池化操作。它可以捕获全局和局部特征，并显着提高效率和准确性。它在处理具有网格状拓扑结构的数据时表现出色。
bull;递归神经网络（RNN）[45]适用于对顺序数据进行建模。与前馈神经网络不同，RNN中有循环和记忆以记住以前的计算。在实践中经常部署诸如长期短期记忆（LSTM）和门控循环单元（GRU）网络之类的变体，以克服消失的梯度问题。
bull;受限玻尔兹曼机（RBM）是由可见层和隐藏层组成的两层神经网络。可以轻松地将其堆叠到一个深网中。称其受限是因为其在可见层或隐藏层中不存在层内通信。
bull;神经自回归分布估计（NADE）[81，152]是在自回归模型和前馈神经网络之上构建的无监督神经网络。它是一个易处理且高效的估计器，用于对数据分布和密度进行建模。
bull;对抗网络（AN）[46]是一个生成神经网络，由鉴别器和生成器组成。通过在minimax游戏框架中相互竞争来同时训练两个神经网络。
bull;注意模型（AM）是可微分的神经体系结构，其对在输入序列（或图像）上的全部内容寻址以进行操作。注意机制通常是普遍存在的，并且在计算机视觉和自然语言处理领域已被接受。它也已成为深度推荐系统研究中的一种新兴趋势。
bull;深度强化学习（DRL）[106]。强化学习基于试错范例，整个框架主要由以下几部分组成：代理，环境，状态，动作和奖励。深度神经网络和强化学习之间的结合形成了DRL，DRL在多个领域（例如游戏和自动驾驶汽车）中都达到了人类水平的性能。深度神经网络使代理能够从原始数据中获取知识并获得有效的表示形式，而无需手工编写的功能和域启发式算法。
请注意，每年都会涌现出许多高级模型，在这里我们仅简要列出一些重要模型。对细节或对更高级的模型感兴趣的读者可以参考[45]。
2.3 为什么将深度神经网络用于推荐系统？
在深入研究最新进展的细节之前，我们有必要了解将深度学习技术应用于推荐系统的原因。显然，在短短几年内已经有许多基于深度学习的推荐系统被提出。这个领域充满了创新。在这一点上，很容易让人质疑这个问题领域是否需要这么多不同的架构，可能甚至质疑神经网络在这个问题领域的可用性。所以为为什么每个提议的架构被建立、以及这种架构对哪种方案最有利的问题提供一个清晰的理由是非常重要的。总而言之，这个问题与任务、领域和推荐方案高度有关。神经架构最吸引人的特性之一是，它们具有（1）端到端可微的特性，以及（2）提供适合输入数据类型的归纳偏置。这样，如果模型可以利用内在结构，那么深度神经网络应该会很有用。例如，CNN和RNN长期利用视觉（和/或人类语言）中的内在结构。同样，会话或点击日志的顺序结构非常适合循环/卷积模型[56、143、175]提供的归纳偏差。
深度神经网络的多个神经结构单元可以组成一个（巨大的）微分函数并被端到端的训练，从这个角度上看它也是复合的，它的优势体现在基于内容的推荐的时候。在多模式数据应用广泛的网络上为用户-物品建模，深度神经网络是必不可少的。例如，当处理文本数据（评论[202]，tweet[44]等），图像数据（社交信息，产品图像）时，CNN/RNN成为必不可少的神经结构单元。在这些应用中，传统的替代方法（设计特定于模式的功能等）产生的推荐列表对用户的吸引力显著降低。这是因为传统的推荐系统无法利用联合（端对端）表示学习的优势。从某种意义上说，推荐系统领域的发展还与相关模式（例如视觉或语言社区）的研究进展紧密结合。例如，要获得对数据整体的回顾，传统的推荐系统将不得不执行昂贵的预处理（例如关键短语提取、主题建模等），而基于深度学习的新方法则能够端对端地吸收所有文本信息[202]。在这方面，深度学习的能力可以视为范式转换，没有这些最新进展，就不可能在统一的联合框架中表示图像、文本和交互[197]。
在交互（即矩阵填充或协作排名问题）方面，存在大量复杂性或存在大量训练实例时，使用深度神经网络是合理的。在[53]中，作者使用MLP来近似交互作用函数，这个方法相比MF等传统方法有显著的性能提升。尽管这些神经模型表现更好，但我们注意到在仅基于交互作用的数据上使用基于动量的梯度下降方法进行训练时，诸如BPR、MF和CML之类的标准机器学习模型也表现得相当好。但是，我们也可以将这些模型视为神经体系结构，因为它
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[260362]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
