英语原文共 10 页，剩余内容已隐藏，支付完成后下载完整资料
通过CNN图像识别进行社交网络识别
艾琳·阿梅里尼1，2，（IEEE 会员），李长存2，3（IEEE该级会员）和罗伯特·卡尔德利1，4（IEEE高级会员）
1媒体集成和通信中心，50134佛罗伦萨大学，意大利
2计算和数学学院，查尔斯·斯图尔大学，瓦格瓦格，新南威尔士州2650，澳大利亚
3计算机科学系，华威大学，考文垂 CV4 7AL，英国
4全国大学间电信联盟，43124帕尔马，意大利
相应作者：艾琳·阿梅里尼（irene.amerini@unifi.it）
摘要：
这项工作一部分得到欧盟H2020方案的玛丽·斯考沃兹卡·居里行动的支持，通过IDENTITY项目：计算机视觉启动多媒体取证和690907授权下的人像识别，部分得到澳大利亚政府教育和培训部提供的澳大利亚奖-奋进奖学金和研究金的支持。
摘要：根据下载的图像识别图源网络是一项重要的多媒体取证任务，鉴于各个社交媒体平台共享的图像和视频数量庞大因此对于网络安全具有重大影响。通过社交网络（SNs）嵌入图像内容的独特跟踪，这一任务已被证明是可行的。为了进一步推动这一领域的发展，我们提出了一个新的框架，称为FusionNET，它集成了两个既定的卷积神经网络（CNN），与前一个（命名为1D-CNN）学习的直方图的鉴别特征。离散余声转变系数和后者（命名为2D-CNN）从相关图像的传感器相关噪声残差推断出唯一属性，然后FusionNET会融合单独学习的功能，以通知是随后的源标识或面向源的图像分类组件。对各种SN和即时消息应用的一系列图像数据集进行了一系列实验，以验证FusionNET的可行性，并于1D-CNN和2D-CNN的性能进行比较。我们最终观察到了令人备受鼓舞的结果。
关键字：来源识别、多媒体取证、图像验证、CNN、噪声残差、网络安全
1.简介
多媒体取证的主要任务之一是推断数字内容的起源。当然，将数字图像连接到其源设备[1]是研究界面临的一个具有挑战性的问题，同时是为了恢复在验证中的图像受到的整个历史处理记录[2]。已设计源摄相机设备[3]的标识、通用源推理[4]、内容完整性验证和面向源的图像聚类[5]等应用程序来帮助完成这些任务。社交网络（SN，如FaceBook）或即时消息应用（IMC，如Whatsapp）充当多媒体循环器的核心作用，源SN和IMA标识与上述源设备标识一样重要。已经证明，每个社交网络或即时消息应用程序在上传和下载过程中在图像内容中留下特定的痕迹[6]-[8]。这些跟踪在正确提取和利用时可用作平台的签名，用于识别目的。
多媒体取证中的SN和IMA鉴定的目标时根据这些平台在图像中所印记的特征确定图像的来源。这种法证分析可能为打击网络犯罪（如骚扰、暴力煽动、网络欺凌和网络恐怖主义）提供重要信息。事实上，在取证场景中，成功识别特定图像来源的社交网络可能有助于解决调查，自动分析从嫌疑人的个人设备（如智能手机、私人电脑、存储卡、硬盘）或来自其FaceBook个人资料中提取大量的数据。能够辨别这些图像是从社交网络下载还是由数码相机直接捕获的，对于领导连续调查，在媒体完整性前提下以适当的取证方法为目标都至关重要。
为了解决这种识别问题，以前的方法基于元数据[6],[9],人工制作的图像特征[10]或由卷积神经网络（CNN）[8],[11]自动学习的图像特征进行分析。虽然已经取得初步成功，但确定来源问题仍在很大程度上尚未探索；此外，以前的一些作品存在某些限制，例如元数据的使用，这些元数据很容易被操纵。这些都促使我们在本文中提出一种新的深度学习框架，利用直接来自数字图像内容的一组不同功能来更好地解决问题。特别是在DCT系数直方图的提出[7]和噪声残差的考虑[8]。这一选择背后的原理是，从不同模式派生的各种信息的组合，使得模型可以更好地概括，以跟踪每个SN和IMA应用的操作所留下的特定跟踪。特别是，基于DCT的功能主要提供有关SN和IMA执行重新压缩方式的信息。另一方面，噪声残差应传达有关调整大小操作的知识。
本文的主要成果如下：首先采用不同的图像功能组合，以更好地检测SN/IMA操作在上传和下载过程中留下地跟踪。其次，设计了一种名为FusionNET地新型CNN架构。旨在利用两个基于单特征地CNN地层间激活地综合学习能力。第三，对一些公开提供的图像数据集进行了一系列全面地比较实验，不仅验证了我们地方法，而且验证了数据地多种类型。
本文首先回顾了基于单一功能地CNN的相关作品，以及它们作为第三节拟建的FusionNET的构建基块的使用方式。第四节报告许多图像数据集的实验和结果。最后，第五节得出结论。
2.相关作品
上传图像到FaceBook的过程确实在内容中留下了独特且可检测的痕迹，这一事实已在介绍中提及已被证实[10]。其中一些跟踪是元数据更改、图像大小和重新压缩[6],[9]，且这一想法[10]已得到进一步完善[6]，并使用K-NN分类器根据上传和下载过程中留下的调整大小、重新压缩、重命名和元数据更改的痕迹分隔不同的社交网络，基于内容从JPEG图像的DCT（离散子发生因变换）系数的直方图中提取的信息[7]被一个带包的决策树分类器用于区分社交网络（FaceBook、Flicker和Twitter等）。除了基于内容的功能，元数据（如图像尺寸和量化表）也包含其中[9]，以通知区分各种IMA（例如Whatsapp、Telegramand和Messenger）。可以使用三个分类器，即LR（逻辑回归）、SVM（线性支持向量机）和RF（随即林）来执行识别任务。
尽管CNN的采用历史很短，但在很多多媒体应用中，CNN已经成为一种有效的工具，包括检测图像操作[12][13][14][15]、图像处理历史推断[16]、识别源摄像头[17][18][19]和反法医学技术分析[20][21]。在[8]和[11]中也尝试采用CNN进行源SN识别。特别是在[11]中，CNN建议根据从DCT系数的直方图中提取的特征对多达8个不同的社交网络进行分类。与上述作品不同，在[8]中提出了使用从图像中提取的PRNU [3]作为SN跟踪载体的想法。在[8]中，基于噪声残余的aCNN以与[11]类似的方式对SN识别进行了训练。
在源 SN 和 IMA 标识的极大兴趣驱动下，提出了许多基准数据集，如 [6]、[9]、[7]和 [22]，表明本文所处理问题的重要性。这些数据集大多将在本文中使用，并用于以比较方式验证建议的方法
图1.社交媒体识别的拟议管道
3.建议的方法
在本节中，将介绍用于解决社交网络和即时消息应用标识问题的基于CNN的拟议框架，成为FusionNET。图1说明了FusionNET的概念框架，具有四个组要顺序组件：i)图像表示的双模态特征，一个特征模式是DCT系数的直方图，另一个是传感器相关噪声残差；ii)两个不同的CNN分支，用各自的特征模式馈送，以拉出活化载体；iii）融合激活载体；iv)对相关图像的源SN和ISAN进行分类。
- 输入数据
用作建议的CNN体系结构输入的不同类型的功能描述如下。尤其是我们利用基于DCT的功能和图像噪声残差来表示两个不同域中的图像，以便捕获每个社交网络在上传过程中对每个图象应用过的各种未知处理的签名和下载。事实上，这种选择背后的原理是，这组低级特征能够揭示各种转换的签名，例如JPEG重新压缩，可以从基于DCT的特征中检测到这些转换，并调整大小，这些转换可在图像的传感器检测到相关噪声残差。
- 基于DCT的特征
DCT系数的直方图作为社交媒体识别的输入数据，已经证明在[7]和[11]中陈述是可行的。它特别有效地识别各种质量因素的JPEG再压缩。在本文中，每个图像被细分为Ntimes;N校内告诉的非重叠补丁。对于每个补丁，DCT值在所有8times;8个块中都得到考虑，对于每个DCT块，将考虑Zigzag扫描顺序中的前9个空间频率（即排除DC系数）。对于每个补丁的所有DCT块中的每个空间频率（fi,fj），将构建直方图hfi,fj表示在（fi,fj）处的量化DCT系数的出现。特别是在直方图中，取了值visin;（-50；0； 50）的系数的匹配项。因此，与每个Ntimes;N像素贴片（通常 N =64）关联的 909 个元素（即 101 个直方图条柱 times; 9 DCT 系数）的特征矢量用作 CNN 输入。
- 传感器-相关噪声
为了更好地捕捉社交网络的独特特征，我们决定使用图像的高频传感器获取相关噪声残差，而不是原始图像本身。这是因为已有实验表明，通过上传和下载社交媒体平台的上传和下载过程，噪声残差可以比原始图像的大部分更显著地改变[8]。也就是说，社交媒体平台的指纹主要在噪音残差中留下。因此，在社交网络识别中，使用噪声残差应能让CNN关注相关信息。通过高通滤波从图像内容中提取噪声残差。其中Ni代表噪声残差，而Ii和 Iden i分别表示 i-th 图像及其降噪版本。
（1）
引入不同类型的去噪滤波器，以改善噪声残余提取[23]。在本文中，我们采用了[24]中描述的基于小波的方法，通常用于噪声残余提取和源器件识别[3]。噪声残余Ni，如公式（1）中，以全帧大小提取。然后，将每个噪声残差像素 Ni（x，y）的强度缩放并归化为范围 [0 ： 1]，以获得 。最后， 被细分为 N times;N 大小的非重叠平方面片，以便始终向 CNN 提供相同数量的需要学习的功能。
图2.用于社交媒体标识的 CNN。
- 1D-CNN [11] 和 b） 2D-CNN [8]。
- CNN社交媒体识别
在本节中，我们将简要介绍第二节概述的两种基于 CNN 的方法，它们构成了拟议框架的两个分支的基本结构，如图 1 所示。第一个 [11] 被命名为 1D-CNN，第二个 [8] 称为 2D-CNN。在第四节的实验中，它们也将用于比较。第一个 CNN 的输入是 909 个元素（101 个直方图条柱 times;9 DCT 频率）的矢量，如第 III-A.1 节所述，而对于第二个网络，输入是尺寸 N times;N 的二维矩阵，N = 64（参见第 III-A.2 节）。两个 CNN 的详细信息如下所述。
·1D-CNN：如图 2a) 所示，此 CNN 由以下图层序列组成。1） 两个卷积层，conv1 和 conv2，每个层由大小为 3 times; 1 的 100 个滤波器组成，后跟 2 times; 1 最大池以减小大小。2） 两个完全连接的层（full3，full4）在级联与1000个下降单位。3）与k单元完全连接的层（full5）softmax层单位数与要识别的社交网络数量相同。特别是，softmax 产生每个样本被分类到每个类的概率。所有卷积层都使用整流线性单元 （ReLU） 作为激活函数。
·2D-CNN：此CNN（参见图2b）)由以下图层序列组成：1）两个卷积层，conv1和conv2，由32个大小为3times;3的滤波器组成，最后一个滤波器后跟最大池（2times;2）和退出。2）conv3和conv4由64个大小为3times;3的滤波器组成，然后是2times;2的最大池和丢弃。3）一个完全连接池（full 5），256个单元加上li另一个完全连接层（full6）和一个softmax层，其单位数与要识别的类别 k 数相同。 由于我们处理的是多类问题，因此输出将是相关图像属于特定类的概率，如在 1D-CNN 中。所有卷积层和第一个完全连接的图层也使用 ReLU 作为激活功能。
在 CNN 训练期间，使用 AdaDelta 优化器 [25] 的最小批次随机梯度下降算法学习权重，下降幅度设置为 0.5。在 1D-CNN 中，纪元数限制为 20 个，而 50 个纪元是 2D-CNN 网络的训练阶段限制。在每个时期，我们使用一个微型批次的32个样本为1D-CNN和2D-CNN的256个样本的小批次。每个小批次都是从非均衡训练集中随机选择的。事实上，为了模拟实际的应用程序方案，每个类的图像数量并不相同，并且由图像大小决定。当验证集上的损失函数达到其最小值，然后选择与特定纪元关联的模型时，将停止训练阶段。在我们的实验中，通常发生在2D-CNN网络的10/20个纪元之后，以及FusionNET和1D-CNN的十个纪元之前。为了运行我们的实验，我们使用 Keras1 TensorFlow2 提供的 CNN 实现，它提供了一个高级 API 来构建和训练深度学习模型。使用分类交叉熵函数[26]作为损耗函数来指导分类问题的训练过程。
全帧图像被分割成固定维度的补丁，这些补丁是独立分类的。因此，在使用 CNN 处理每个图像修补程序后，在修补程序级别获得预测。因此，为了在图像级别进行最终识别，对分配给每个补丁的标签应用了多数表决策略。
图3.建议的FusionNET体系结构
图 1 中描述的融合两个 CNN 以创建我们提议的框架（称为 FusionNET）的方法如下。融合可以在Softmax之前的任何层发生，以进行组合学习，以便从该阶段的激活中获取信息。在我们的例子中，我们决定在每个CNN的第一个完全连接层之前定位融合。然后，这些层的激活将串联并馈入一组新的附加层中，以执行实际融合，如图 3 所示。为了确保两个分支在收敛到串联阶段之前具有平衡的编码向量，两个分支的完全连接层由 2
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[238762]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
