一种基于主机关系的互联网主机扫描方法及系统与流程

本发明属于网络主机扫描领域，具体涉及一种基于主机关系的互联网主机扫描方法及系统。

背景技术：

网络信息技术的发展给人类生活带来巨大便利，改变着人类的生活方式。智能家居、智能交通、智能城市等概念的提出推动着物联网设备的互联入网，并以集群或服务平台的方式联合提供服务。与此同时，工业化与信息化的不断融合也推进着工业控制系统采用标准、通用的通信协议和软硬件系统接入互联网。这些接入到互联网的主机设备不可避免的存在漏洞，存在着被黑客攻击的风险。

网络主机扫描包括ip扫描、端口扫描和网络服务扫描。ip扫描可以扫描任意范围的ip地址(0.0.0.0)到(255.255.255.255)，找到正在使用中的网络主机；端口扫描可以扫描已发现网上主机的端口，范围可以从1到65535，获得已经打开的端口的信息,对端口分析可以知道是否有人在你的电脑上留下了后门；网络服务扫描可以扫描打开的端口，返回端口后台运行的网络服务信息,例如,通常情况下,端口80运行的是http服务。扫描完成后，会给出一份详细的网络扫描报告，以备查阅。

除了采用一些被动的网络防御措施外，可以结合网络扫描对互联网上的主机进行发现和识别，并使用一些最新的漏洞验证性脚本进行漏洞检测，识别出网络主机的系统脆弱性。虽然已经有很多网络扫描方法及开源扫描工具被提出，但是几乎没有一种扫描方式可以在高效率收集目标信息的同时减少网络扫描对扫描目标的扫描影响。不当的扫描操作在给目标网络造成负载影响的同时，也影响着扫描源ip的ip信誉，使扫描源ip被一些扫描目标屏蔽网络请求，从而降低网络扫描结果的准确性。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于主机关系的互联网主机扫描方法及系统，其通过获取所有目标主机的网络信息，构建与所有目标主机一一对应的特征向量；对所有特征向量进行聚类得到对应的分群关系；利用分群关系确定所有目标主机的扫描顺序及扫描间隔，执行网络扫描，使得在同样的扫描时间内对聚类得到的网络集群的同源扫描间隔更大，从而使得扫描对主机工作的影响程度降低。

为实现上述目的，按照本发明的一个方面，提供了一种基于主机关系的互联网主机扫描方法，该方法包括如下步骤：

s1.获取所有目标主机的网络信息，网络信息包括网络拓扑信息及历史端口，依据网络信息构建与所有目标主机一一对应的特征向量；

s2.对所有特征向量使用无监督聚类算法进行聚类，通过聚类得到与所有目标主机一一对应的分群关系，分群关系包括网络拓扑关系信息和应用集群信息；

s3.利用分群关系确定所有目标主机的扫描顺序及扫描间隔，执行网络扫描，以获取所有目标主机对应的端口信息和/或漏洞信息。

作为本发明的进一步改进，特征向量的构建过程为：

s11.对目标主机的网络信息进行过滤，滤除存在的iana保留地址及一些预先设置的黑名单ip段；

s12.获得过滤后目标主机ip对应的网络拓扑信息，检索目标主机ip的历史扫描结果以获得开放端口信息，如果不存在历史扫描结果则按目标主机无开放端口处理；

s13.对过滤后目标主机ip对应的连续型数据进行归一化处理，对过滤目标主机ip对应的类别型数据进行编码，得到与目标主机ip对应的特征向量。

作为本发明的进一步改进，网络拓扑关系信息包括网络主机对应的ip地址、网络主机的地理位置信息和网络主机所属的运营商网段划分。

作为本发明的进一步改进，特征向量的类别型数据维度包括：目标主机对应的ip地址转化为十进制整数型数据；目标主机的地理位置信息转化为经度信息和纬度信息；目标主机的所属的运营商网段；目标主机的开放端口信息，开放端口信息包括依据开发端口的开放情况及对应的应用层协议得到的编码信息。

作为本发明的进一步改进，扫描间隔依据应用集群信息设置，应用集群信息包括目标主机所在网络集群中设备类型占比。

为实现上述目的，按照本发明的另一个方面，提供了一种基于主机关系的互联网主机扫描系统，该系统包括主机特征向量获取模块、主机分群关系获取模块和网络扫描模块，

主机特征向量获取模块用于获取所有目标主机的网络信息，网络信息包括网络拓扑信息及历史端口，依据网络信息构建与所有目标主机一一对应的特征向量；

主机分群关系获取模块用于对所有特征向量使用无监督聚类算法进行聚类，通过聚类得到与所有目标主机一一对应的分群关系，分群关系包括网络拓扑关系信息和应用集群信息；

网络扫描模块用于利用分群关系确定所有目标主机的扫描顺序及扫描间隔，执行网络扫描，以获取所有目标主机对应的端口信息和/或漏洞信息。

作为本发明的进一步改进，特征向量的构建过程为：

对目标主机的网络信息进行过滤，滤除存在的iana保留地址及一些预先设置的黑名单ip段；

获得过滤后目标主机ip对应的网络拓扑信息，检索目标主机ip的历史扫描结果以获得开放端口信息，如果不存在历史扫描结果则按目标主机无开放端口处理；

对过滤后目标主机ip对应的连续型数据进行归一化处理，对过滤目标主机ip对应的类别型数据进行编码，得到与目标主机ip对应的特征向量。

作为本发明的进一步改进，网络拓扑关系信息包括网络主机对应的ip地址、网络主机的地理位置信息和网络主机所属的运营商网段划分。

作为本发明的进一步改进，特征向量的类别型数据维度包括：目标主机对应的ip地址转化为十进制整数型数据；目标主机的地理位置信息转化为经度信息和纬度信息；目标主机的所属的运营商网段；目标主机的开放端口信息，开放端口信息包括依据开发端口的开放情况及对应的应用层协议得到的编码信息。

作为本发明的进一步改进，扫描间隔依据应用集群信息设置，应用集群信息包括目标主机所在网络集群中设备类型占比。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明的一种基于主机关系的互联网主机扫描方法及系统，其通过其通过获取所有目标主机的网络信息，构建与所有目标主机一一对应的特征向量；对所有特征向量进行聚类得到对应的分群关系；利用分群关系确定所有目标主机的扫描顺序及扫描间隔，执行网络扫描，与传统的扫描方式相比，该扫描方法及系统提出的扫描方式更具针对性，在同样的扫描时间内对聚类得到的网络集群的同源扫描间隔更大，从而使得扫描对主机工作的影响程度降低，同时，根据网络主机历史扫描信息及对应的主机关系对当前扫描策略进行调整，能适应网络主机动态变化的特征及关系，减少对目标的影响，提升扫描结果的准确性。

本发明的一种基于主机关系的互联网主机扫描方法及系统，其采用聚类的方式从主机网络拓扑关系及开放端口信息中提取主机关系，并根据主机关系调整任务间隔及任务顺序，由此针对性的降低扫描对每个网络集群的扫描频率，从而降低网络扫描对目标网络中存在的网络集群所产生的负载影响。

附图说明

图1是本发明实施例的一种基于主机关系的互联网主机扫描方法的示意图；

图2是本发明实施例与现有技术的扫描结果的比较示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面结合具体实施方式对本发明进一步详细说明。

iana：theinternetassignednumbersauthority，互联网数字分配机构。

图1是本发明实施例的一种基于主机关系的互联网主机扫描方法的示意图。如图1所示，该方法包括如下步骤：

s1：获取所有目标主机的网络信息，网络信息包括网络拓扑信息及历史端口，依据网络信息构建特征向量；

具体地，特征向量的构建过程为：

s11.对目标主机的网络信息进行过滤，滤除存在的iana保留地址及一些预先设置的黑名单ip段；

s12.获得过滤后目标主机ip对应的网络拓扑信息，检索目标主机ip的历史扫描结果以获得开放端口信息，如果不存在历史扫描结果则按目标主机无开放端口处理；

s13.对过滤后目标主机ip对应的连续型数据进行归一化处理，对过滤目标主机ip对应的类别型数据进行编码，得到与目标主机ip对应的特征向量。

s2：对所有特征向量使用无监督聚类算法进行聚类，通过聚类得到目标主机分群关系，目标主机分群关系包括网络拓扑关系和应用集群信息；

具体地，目标主机的网络拓扑关系主要根据ip地址、地理位置信息、运营商网段这些特征来反映。由此，聚类获得的同一结果簇中的网络主机往往处于相近的网段或地区。同时选用目标主机的端口信息及应用层协议信息作为特征反映目标主机的应用集群关系，使网络相近且在网络中起到相似作用的网络主机更倾向于被分到同一集群。优选地，应用特征信息还可以引入目标主机的设备类型，如路由器、网络摄像头、工控设备等，使同一集群中的设备相似性更强。通过无监督聚类得到的分群关系，表现为互联网上行为相似、关系密切的网络主机，可能映射同一个网段中的主机或小型设备集群。

网络主机对应的ip地址、网络主机的地理位置信息、网络主机所属的运营商网段划分。其中，网络主机的运营商网段划分精确到县级市、学校或公司等详细本地运营商网段划分。

当选用以上网络拓扑信息时，结合目标主机的历史开放端口信息使用如下方式进行特征向量的连续型数据维度包括：

对于每个目标网络主机，将ip地址转化为十进制整数型数据作为目标网络主机对应特征向量的一个连续型数据维度；将ip地址的地理位置信息转化为经纬度信息，分别将经度和维度各自作为一个连续型数据维度；将所有运营商网段进行编码，将目标主机所属的运营商网段作为一个类别型数据维度；将目标主机的开放端口信息提取出现频率最高的几个端口，每个端口分别作为一个类别型数据维度，端口所对应类别型数据维度按照端口的开放情况及对应的应用层协议进行编码。

优选地，由于特征向量中既包含连续数值型的特征维度，也包含类别型的特征维度，因此采用k-prototypes聚类算法进行聚类，k-prototypes与普通的k-means算法相比，更擅长处理同时包含类别型及数值型特征维度的特征向量，普通的k-means算法通常以欧式距离衡量特征向量与簇中心的距离，而类别型数据非连续变化，不能直接应用欧式距离进行计算。k-prototypes算法用来衡量特征向量xi与簇中心ql的距离。其中与分别是向量xi与簇类中心向量ql的数值属性，与分别是向量xi与qi的类别属性。mr与mc分别是向量的数值维数及类别维数。当p＝q时δ(p,q)＝0，否则δ(p,q)＝1。

k-prototypes算法对于特征向量的连续维度仍然采用欧几里得距离进行衡量，并对离散型数据维度引入δ函数及γl权重来计算整体的向量距离。随后计算得到收敛的分群结果。在本发明的实施例中，权重γl对不同簇类中心取通过多次应用测试得到的经验值0.6，而簇类个数通常取实验得到的经验值0.8*nnet_unique+0.2*nip_unique，nnet_unique为目标中不重复的网段个数，而nip_unique为目标中不重复的ip个数。

s3：利用分群关系确定扫描顺序及扫描间隔，执行网络扫描，获取目标主机对应的端口信息和/或漏洞信息。

传统的网络扫描通常采用随机化扫描目标扫描顺序的方式来降低扫描操作对目标所产生影响。而这往往低效率且不具有针对性。在本发明实施例的基于主机关系的互联网主机扫描方法中，结合分群关系调整扫描顺序及扫描间隔的方式主要包括：

设置扫描间隔tthresh，扫描系统中的同一源主机对同一个分群保证扫描间隔至少大于tthresh，从而保证扫描操作对目标集群的扫描频率至少在一定限度以上。需要注意的是，扫描间隔tthresh或扫描频率并非具体某种防火墙或入侵检测系统的检测阈值，而是用来度量扫描操作带来的负载影响。扫描间隔tthresh越高，对应的扫描影响越低。

优选地，扫描间隔tthresh可根据目标主机的应用集群信息设置，从而降低扫描影响，应用集群信息包括目标主机所在网络集群中设备类型占比，与网络集群中设备类型占比对应有不同经验值，如对工业控制系统协议的网络设备设置更高的扫描间隔。

图2是本发明实施例与现有技术的扫描结果的比较示意图。如图2所示，通过设置实验，选取两组独立的主机在同样时段分别采用不同的扫描方式对某段网络进行扫描，通过获得的扫描结果数量及重复扫描的结果数量衰减率可以反映对目标产生扫描影响而被分类为恶意扫描的情况。实验结果显示，本发明提出的扫描方式能获得更多的扫描结果，且周期性扫描得到的结果数衰减率更低，这表明扫描对目标造成的扫描影响更低，更少被目标分类成恶意访问。与传统的扫描方式相比，本发明提出的扫描方式更具针对性，在同样的扫描时间内，对聚类得到的网络集群的同源扫描间隔更高，从而保证更低的扫描影响程度。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。