一种基于深度特征的P2P流量细粒度识别方法与流程

本发明涉及一种网络安全管理与流量分析技术领域，更具体的说，是涉及一种基于深度特征的p2p流量细粒度识别方法。

背景技术：

p2p技术，又称点对点技术，是一种网络新技术，依赖网络中参与者的计算能力和带宽，而不是把依赖都聚集在较少的几台服务器上。这类网络可以用于多种用途，各种档案分享软件已经得到了广泛的使用。

p2p技术的快速发展和应用虽然方便了人们的生活生产，但是也对网络管理和安全造成了重大影响。首先，快速增长的p2p流量给网络带宽造成严重的负担和加剧了网络的拥塞状况；其次，由于缺乏对用户的管理和共享信息的控制，p2p已成为非法内容共享活动的主要来源，这引起了资源滥用与侵权等问题；还有基于p2p的恶意僵尸网络的频繁出现，一方面，其大量的非法连接加快了带宽的消耗，另一方面，由于p2p恶意流量隐匿在合法的巨量p2p流量中，使得网络攻击越来越多。因此，p2p网络安全和管理是一个首先要解决的问题，而对p2p流量的细粒度识别是进行p2p网络安全和管理中必不可少的一步。

现有技术中，基于统计特征识别法进行p2p流量识别，由于直接使用基于载荷特征方法而导致计算量大，即系统时空开销大；基于混合方法的多步式识别器用以分步地识别p2p流量，虽然取得了不错的成效，但各种单步方法的缺点仍制约着整个方法的性能，由于结合了基于统计特征方法，导致对于细粒度识别方面效果也不理想，且难以进行扩展用于识别新型或未知p2p流量。

技术实现要素：

本发明公开一种基于深度特征的p2p流量细粒度识别方法，避免了类似特征统计方法的大量耗费资源和统计不全面的缺点，可以提高p2p流量识别的效率和准确性。

为实现上述目的，本发明的具体技术方案为：

一种基于深度特征的p2p流量细粒度识别方法，其特征在于，包括训练过程和识别过程；所述训练过程包括：

收集和处理数据集，标记并训练不同应用类别的p2p流量数据；

提取深度特征，利用深度卷积神经网络提取所述p2p流量数据的深度特征；

训练二分类器，利用所述深度特征训练特定应用的支持向量机svm，识别特定应用的所述p2p流量数据；

构建识别辅助器，所述识别辅助器包括细粒度启发式规则和歧义消除识别器；

所述识别过程包括：

利用深度卷积神经网络对所述p2p流量数据进行特征提取，得到深度特征；

将训练好的多个二分类器和识别辅助器组合得到细粒度流量识别模型；

利用所述细粒度流量识别模型对所述深度特征进行分类。

进一步地，收集和处理数据集，标记不同应用类别的p2p流量数据具体包括：把所述p2p流量数据划分为训练集和测试集。

进一步地，收集和处理数据集，标记不同应用类别的p2p流量数据具体还包括：对所述训练集和所述测试集进行训练和测试。

进一步地，提取深度特征，利用深度卷积神经网络提取所述p2p流量数据的深度特征之前还包括：把所述p2p流量数据转化为图片格式。

进一步地，训练二分类器，利用所述深度特征训练特定应用的支持向量机svm，识别特定应用的所述p2p流量数据包括：按不同的应用类别标记所述深度特征。

进一步地，将训练好的多个二分类器和识别辅助器组合得到细粒度流量识别模型包括：将所述多个二分类识别器并列设置。

进一步地，利用所述识别模型对所述深度特征进行分类包括：利用细粒度启发式规则，对误分类的所述p2p流量数据进行校正。

进一步地，利用所述识别模型对所述深度特征进行分类包括：所述深度特征利用所述多个二分类器中的每个二分类器进行分类。

进一步地，利用所述识别模型对所述深度特征进行分类具体还包括：当所述多个二分类器中有两个或两个以上二分类器的输出结果相同时，表明分类结果产生歧义。

进一步地，利用所述识别模型对所述深度特征进行分类具体还包括：当所述分类结果产生歧义时，触发所述识别辅助器。

本发明是基于深度卷积神经网络自动提取p2p流量数据的深度特征，避免了类似特征统计方法的大量耗费资源和统计不全面的缺点，可以更全面、更高效的提取出p2p流量中的深度特征，利用深度特征构建和训练的二分类器、识别辅助器的准确率高；本发明提出的细粒度流量识别模型，把新的数据添加到数据集中，提取新的深度特征构建新的二分类器和训练识别辅助器，添加新的二分类器和利用新的识别辅助器，就能识别新种类的p2p流量，具有高扩展性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的二分类器训练的流程示意图；

图2为本发明实施例公开的识别辅助器训练的流程示意图；

图3为本发明实施例公开的p2p流量细粒度识别的流程示意图；

图4为本发明实施例公开的粗粒度识别的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出的基于深度特征的p2p流量细粒度识别模型，基于深度卷积神经网络提取出p2p流量数据的深度特征，首先对p2p流量进行粗粒度识别，粗粒度的p2p流量识别是指在复杂多样的流量中，识别出p2p流量和非p2p流量，粗粒度识别的具体流程如图4所示。

然后将粗粒度识别得到的p2p流量，输入到深度卷积神经网络提取出深度特征，再进行细粒度的识别，将传统多分类识别转化为多个基于深度学习的二分类识别，利用多个二分类器对深度特征进行分类，同时结合识别辅助器，提高流量识别的准确率和效率，具有较高的可扩展性。

本发明提供的一种基于深度特征的p2p流量细粒度识别方法，主要分为训练过程和识别过程，具体流程如图3所示。

训练过程包括这些步骤：收集和处理数据集、提取深度特征、训练二分类器及构建识别辅助器。

收集和处理数据集：在计算机网络模型中，应用层的协议有http、ftp、smtp、dns等，本发明将p2p流量按照其应用领域把归为以下四种类别，分别为：由文件共享软件产生的下载流量，即时聊天软件产生的通讯流量，多媒体应用产生的音视频流量，还有p2p僵尸网络产生的恶意流量等。在p2p流量细粒度识别中，可以根据使用的协议不同识别出某一种特定应用的流量，按不同类别把数据标记好，并把数据划分为训练集和测试集。

将数据集d划分为k个大小相似的互斥子集，即d＝d1∪d2∪…∪dk，di∩dj＝空集(i≠j)，每个子集di都尽可能保持数据分布的一致性，即从d中通过分层采样得到。然后，每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集；这样就可获得k组训练或测试集，从而可进行k次训练和测试，最终返回的是这k个测试结果的均值。

提取深度特征：把流量数据转化为图片格式，使用卷积神经网络提取流量数据的深度特征，卷积神经网络的模型的inceptionv3，把原模型的最后三个回归层(softmax层)和全连接层(fc)去掉，最后一个inception模块为最终的输出，输出为深度特征。

训练二分类器：利用所提取出的深度特征，按不同的类别做好标记，训练特定的支持向量机svm，用于进行识别其中一种应用的流量，训练二分类器的流程如图1所示。

构建识别辅助器：识别辅助器包括细粒度启发式规则和歧义消除识别器组成，其中，细粒度启发式规则不需要训练，是人工设定的；歧义消除识别器使用的是深度卷积神经网络的全连接层，深度卷积神经网络的全连接层需要用数据集训练的，训练流程如图2所示。

尽管类别间存在着较大的差异，但是在一定程度上也存在着统计特征相似的部分流量，例如，少部分p2p恶意流量是由使用http等协议构建僵尸网络而产生的，这部分流量与http存在相似性，容易被误判。针对这一点，本阶段使用细粒度启发式规则，对误分类的流量进行校正，优化识别效果。

利用收集和处理数据集中已标签的各类别p2p流量数据集，训练一个深度卷积神经网络，用于处理多分类问题。利用多个二分类识别器进行细粒度分类时，可能产生识别结果的歧义性，当歧义出现，结果以识别辅助器的输出为准。

将训练好的多个二分类器和识别辅助器中的歧义消除识别器组合，得到细粒度流量识别模型，如图3中的矩形框所示。把多个二分类器并列，将提取到的深度特征输入到细粒度流量识别模型，所输入的深度特征要通过每个二分类器，每个二分类器都输出两个结果，再通过识别辅助器的处理输出最终结果。

进行细粒度识别时，多个二分类器中若只有一个二分类器识别出某种应用的流量，其他的二分类器的输出结果都是非特定流量，表明分类结果没有产生歧义，直接输出分类结果。

若两个或两个以上的二分类器输出的分类结果为是某种应用的流量，即表明分类结果发生歧义，触发识别辅助器，利用识别辅助器中的全连接层和回归层对深度特征进行判断，输出最终判断结果。

将多个二分类器并排，让流量通过每个二分类器，此结构能在发生歧义时能触发识别辅助器。同时，识别辅助器可以更全面的判定一些属于两个种类的p2p流量。而且，该结构有利于以后添加新的p2p流量二分类识别器，提高可扩展性。例如，p2p聊天流量识别器和恶意流量识别器输出都为真时，需要识别辅助器来进行下一步判断，从而可以更全面的判断某一种特定的流量。

本发明要保护的是一种基于深度特征的p2p流量细粒度识别模型，这种方法的关键包括训练多个二分类器和构建识别辅助器，本发明的特征提取方法和基于传统的机器学习统计特征方法不一样，基于自动提取的深度特征更全面；利用基于深度特征的多个二分类器和识别辅助器组成细粒度流量识别模型，利用细粒度流量识别模型识别p2p流量，识别准确率和效率更高。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。