一种WiFi信号数据的采集和处理方法及其系统与流程

本发明涉及一种无线wifi信号采集及数据分析处理的方法及其系统，属于无线wifi信号检测技术领域。

背景技术：

近几十年，现代无线通讯领域获得了长足的发展，目前在室内和小范围的无线局域网内的大数据传输主要由wifi通讯协议主导实现。wifi协议具有保密性好、传输速度较高的优点，目前wifi协议主要应用在2.4ghz和5.8ghz两个频段上，大量的无线局域网设备均可以通过wifi协议进行传输和控制，适用于办公环境、个人应用和家庭应用，wifi协议是目前无线局域网模式下最主要的协议标准，以wifi协议为基础的wifi设备遍布人们的工作与生活。

大量wifi设备的存在，也伴随着一个问题：由于wifi设备的加密性高，所以很难对wifi设备进行监控管理。一旦非法或者不经过用户允许的wifi设备连接进入无线局域网内部，就会造成无线局域网中的数据或者个人信息的泄露；此外，一些wifi设备被设置成为无线热点后，容易被用来进行不被允许的数据传输。由于wifi的加密性高，现阶段大多需要在其热点/路由器上安装专业检测软件或者连接专业的设备来进行wifi信号的管控，否则很难判断出无线wifi终端设备的数据传输情况以及其设备的各类属性与安全情况，而独自建立无线热点的wifi设备，则更难监督和检测其数据的传输。

技术实现要素：

针对目前wifi设备和wifi信号检测、管理困难的问题，本发明提出了一种wifi信号数据的采集和处理方法及其系统，利用遵守ieee802.11协议的芯片，在监听模式下直接捕获空中wifi信号传输的协议包，根据机器学习算法分析wifi数据，确认wifi数据对应的设备类型和数据类型，实现对wifi设备的实时检测，生成检测报告，方便相关人员查看wifi设备信息，进而实现对wifi设备的监管。

为解决上述技术问题，本发明采用了如下技术手段：

一种wifi信号数据的采集和处理方法，包括以下步骤：

s1、在监听模式下按照固定频率监听空中的wifi信号，并接收wifi信号传输的协议包；

s2、将每次接收协议包的时间戳和协议包的帧头部分整理为数据包存储到临时数据库中，当临时数据库中同一wifi信号的数据包的数量到达设置的阈值，将临时数据库中同一wifi信号的数据包打包为数据包集合发送到wifi数据分析模块；

s3、基于机器学习算法，根据数据包集合中的数据分析该wifi信号对应的wifi设备名称、设备类型和wifi信号数据类型；

s4、根据数据包集合和步骤s3的分析结果生成检测报告，将数据包集合、分析结果和检测报告对应的存储到关系型数据库中；

s5、从关系型数据库中获取检测报告并在终端进行展示。

进一步的，所述的固定频率的取值范围为0.5～10次/秒。

进一步的，所述每个数据包中包括数据包序号、协议包的帧头部分和接收该协议包的时间戳，所述协议包的帧头部分包括ssid、帧长度、帧状态、持续时间长度、源mac地址和目的mac地址。

进一步的，所述步骤s2中设置的阈值大于等于300。

进一步的，步骤s3的具体操作如下：

s31、从数据包集合中提取协议包的ssid，分析ssid得到wifi信号对应的wifi设备名称；

s32、从数据包集合获取协议包的源mac地址，将源mac地址与ieee数据库中登记在册的mac信息登记表进行匹配，判断该源mac地址对应的wifi设备的设备类型；

s33、从数据包集合中提取数据特征，根据机器学习算法结合数据特征训练模型，利用训练好的模型判断wifi信号数据类型。

进一步的，所述步骤s33的具体操作如下：

(1)任意选取一个数据包集合，将数据包集合中的数据包分为n组，每一组数据包中共有e个数据包，即有e个协议包，提取每一组数据包中每个协议包的帧长度，第i组数据包的帧长度集合为ai＝{a1i,a2i,...,aji,...aei}，其中，i＝1,2,...,n，aji为第i组数据包中第j个协议包的帧长度，j＝1,2,...,e，根据累积分布函数计算第i组数据包的帧长度分布具体计算公式如下：

其中，aimax表示协议包集合ai中最大的帧长度，代表ai中元素小于等于的概率；

(2)n组数据包的帧长度分布集合为对帧长度分布集合进行ks检验，得到帧长度分布稳定性x，具体计算公式如下：

(3)提取每一组数据包中每个协议包的帧长度和接收协议包的时间戳，计算单位时间内传输的帧长度，即信号带宽，取带宽平均值作为该数据包集合的带宽值：

其中，b表示数据包集合的带宽值，bi表示第i组数据包的信号带宽；

(4)根据每一组数据包的信号带宽计算数据包集合的带宽标准差，作为数据包集合的带宽稳定性s；

(5)获取m个数据包集合，进行步骤(1)-(4)的处理，得到数据特征，所述数据特征包括帧长度分布、帧长度分布稳定性、带宽值和带宽稳定性，人工标注每个数据包集合中每组数据包的数据类型，用数据特征和人工标注的数据类型作为训练样本，基于机器学习算法训练wifi数据类型识别模型；

(6)为新接收的数据包集合提取数据特征，将提取的数据特征输入训练好的模型，输出新接收的数据包集合对应的wifi信号数据类型。

进一步的，所述检测报告包括wifi设备名称、wifi设备类型、wifi信号数据类型、wifi信号出现的时段、wifi信号强度信息。

一种wifi信号数据的采集和处理系统，包括wifi数据采集模块、wifi数据传输模块、wifi数据分析模块和wifi数据展示模块。

所述wifi数据采集模块，用于监听检测区域内的wifi信号，采集wifi信号传输的协议包；所述wifi数据传输模块，用于临时存储wifi数据采集模块采集的多个协议包，并通过有线或无线网络将采集的协议包打包后传输到wifi数据分析模块；所述wifi数据分析模块，用于分析采集到的协议包中的数据，判断该wifi信号对应的wifi设备名称、wifi设备类型和wifi信号数据类型，并生成检测报告；所述wifi数据展示模块，用于存储采集的wifi数据、分析结果和检测报告，并在终端展示检测报告。

进一步的，所述wifi数据采集模块选用遵守ieee802.11协议的wifi芯片。

进一步的，所述wifi设备类型包括手机、平板、笔记本、打印机、数码相机、无线摄像头；所述wifi信号数据类型包括音频、视频。

采用以上技术手段后可以获得以下优势：

本发明提出了一种wifi信号数据的采集和处理方法及其系统，本发明方法及系统利用wifi芯片的监听功能，通过wifi信号采集模块监听并采集检测区域内的wifi信号传输的数据，wifi信号采集模块不需要与任何wifi设备进行硬件连接，也不需要在现有wifi设备上安装软件，做到了非接触式的数据采集，移动wifi数据采集模块即可改变监听范围，数据采集更加灵活、便捷。采集到的数据传输到wifi数据分析模块，根据现有的数据库系统和机器学习算法对wifi数据进行分析、处理，判断wifi设备名称、设备类型和wifi信号数据类型，计算方法简单，整个操作自动化程度较高，不需要过多人工参与，计算结果较准确。采集到的数据和计算结果生成检测报告供相关人员查看，实现了wifi信号检测可视、各类wifi设备分类可视、各ap热点下连接的sta设备可视等功能，有利于相关人员了解wifi设备的数据传输情况，方便相关人员对wifi设备进行监管。本发明系统成本较低，可以实时灵活采集和处理wifi信号数据，本发明方法计算量较小，计算时间较短，计算结果精准，能够自动化实时分析数据，本发明系统和方法提供了无线wifi信号检测的高质量信息化服务。

附图说明

图1为本发明一种wifi信号数据的采集和处理方法的步骤流程图。

图2为本发明一种wifi信号数据的采集和处理系统的结构示意图。

图中，1是wifi数据采集模块，2是wifi数据传输模块，3是wifi数据分析模块，4是wifi数据展示模块。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明：

本发明提出了一种wifi信号数据的采集和处理方法，如图1所示，具体包括以下步骤：

s1、在sniffer监听模式下，利用wifi数据采集模块按照固定频率监听空中检测区域内的wifi信号，接收wifi信号传输的协议包。目前wifi协议的2.4ghz频段在国内共使用13个频点，可以采用同一个采集模块按照固定频率依次监听每个频点，也可以采用13个采集模块按照固定频率分别监听13个频点，本发明方法中固定频率的取值范围为0.5～10次/秒，当某个频点没有信号正在传输时，可以减少监听该频点的次数或者延长相邻两次监听的时间间隔，即减小固定频率。

在本发明实施例中，首先用同一个wifi数据采集模块按照10次/秒的频率依次监听13个频点，每个频点监听100ms，1.3秒内就可以轮询所有频点，轮询完所有频点后记录下有数据传输的频点；进行第二轮监听时，按0.5次/秒的频率监听有数据传输的频点，即每个频点监听2s时间，假设有数据传输的频点个数为n，则第二轮监听消耗时间为2*n秒；第三轮监听时，再次按照10次/秒的频率依次监听13个频点，重新记录有数据传输的频点，以此类推，采集wifi信号传输的数据，也就是协议包。

每个协议包可以称为一个帧，根据目的设备、协议包内的数据等的不同，协议包可以分为管理帧、控制帧和数据帧，本发明主要采集管理帧和数据帧，抓取其帧头部分。帧头部分包括physicallayerconvergenceprocedure(plcp)头和macheader，plcp头包含帧的长度，macheader包含帧控制(fc)、持续时间长度和mac地址，其中，fc表示帧的状态，包括分组的方向，即上行链路或下行链路；持续时间长度表示频道预留持续时间，即完成数据传输所需的时间；对于上行链路数据包，mac地址包括ap的mac地址、源mac地址和目的mac地址。

s2、将每次接收协议包的时间戳和协议包的帧头部分整理为数据包存储到临时数据库中，每个数据包中包括数据包序号、协议包的帧头部分和接收该协议包的时间戳，数据包序号主要用于标记该数据包属于哪个频点上的哪个wifi信号，方便后续统计、查询和分析，数据包中存储的协议包的帧头部分主要包括ssid、帧长度、帧状态、持续时间长度、源mac地址和目的mac地址，时间戳包括接收该协议包的开始时间和结束时间。

因为一个数据包中的有用数据较少，为了在进行数据分析处理时拥有足够多的有用数据，提高数据分析准确度，本发明奖采集到的数据包先存储到临时数据库中，当临时数据库中同一wifi信号的数据包的数量到达设置的阈值，再将临时数据库中同一wifi信号的数据包打包为数据包集合发送到wifi数据分析模块。通过多次试验，设置的阈值要大于等于300，即每次要采集300个以上的数据包，然后再打包发送到wifi数据分析模块。

s3、基于机器学习算法，根据数据包集合中的数据分析该wifi信号对应的wifi设备名称、设备类型和wifi信号数据类型；具体操作如下：

s31、从数据包集合中提取协议包的ssid，通常一个数据包集合中所有的协议包都来源于同一个wifi设备，所以每个协议包中的ssid应该相同，分析ssid得到wifi信号对应的wifi设备名称。此外，也可以链接一些针对wifi设备的后台数据库，检索后台数据库中已存在的现有数据，根据ssid确认设备类型，比如市面上销售的大部分路由器，其名称中包含路由器的品牌和型号，分析ssid就可以根据这些品牌和型号推导出wifi设备为路由器设备。

s32、由于主流wifi设备厂家都会在ieee协会申请mac地址的范围，因此可以通过ieee数据库进行检索，进而判断某个mac地址对应的wifi设备是何种产品。分析数据包集合中的协议包，从协议包的帧头部分获取源mac地址，通常一个数据包集合中所有的协议包都来源于同一个wifi设备，所以源mac地址应该相同，将源mac地址与ieee数据库中登记在册的mac信息登记表进行匹配，判断该源mac地址对应的wifi设备的设备类型，本发明中的wifi设备类型主要包括手机、平板、笔记本、打印机、数码相机和无线摄像头等。

s33、由于不同的wifi设备在传输数据时会根据自身的特征来进行特定的数据长度的切分，因此，当某一个wifi设备传输的数据包积累到一定数量时，就可以根据这些数据包来配合机器学习算法，查找数据长度切分的规律，进而区分出该wifi信号传输的数据类型。从数据包集合中提取数据特征，根据机器学习算法结合数据特征训练模型，利用训练好的模型判断wifi信号数据类型。步骤s33又可以具体分为以下操作：

(1)任意选取一个数据包集合，将数据包集合中的数据包分为n组，每一组数据包中共有e个数据包，即有e个协议包，比如一个数据包集合中有500个数据包，把500个数据包分为10组，则每一组包含50个数据包，即每一组中有50个协议包。

提取每一组数据包中每个协议包的帧长度，第i组数据包的帧长度集合为ai＝{a1i,a2i,...,aji,...aei}，其中，i＝1,2,...,n，aji为第i组数据包中第j个协议包的帧长度，j＝1,2,...,e，根据累积分布函数计算第i组数据包的帧长度分布具体计算公式如下：

其中，aimax表示协议包集合ai中最大的帧长度，代表ai中元素小于等于的概率。

(2)根据公式(4)计算出每组数据包的帧长度分布，得到n组数据包的帧长度分布集合对帧长度分布集合进行ks检验，得到帧长度分布稳定性x，具体计算公式如下：

其中，sup()为上确界函数。

(3)提取每一组数据包中每个协议包的帧长度和接收协议包的时间戳，计算单位时间内传输的帧长度，即信号带宽，取带宽平均值作为该数据包集合的带宽值：

其中，b表示数据包集合的带宽值，bi表示第i组数据包的信号带宽。

(4)根据每一组数据包的信号带宽计算数据包集合的带宽标准差，作为数据包集合的带宽稳定性s：

(5)获取m个数据包集合，进行步骤(1)-(4)的处理，得到每个数据包的数据特征，数据特征包括帧长度分布、帧长度分布稳定性、带宽值和带宽稳定性，人工标注每个数据包集合中每组数据包的数据类型，用数据特征和人工标注的数据类型作为训练样本，基于机器学习算法训练wifi数据类型识别模型。

(6)为新接收的数据包集合提取数据特征，将提取的数据特征输入训练好的模型，输出新接收的数据包集合对应的wifi信号数据类型。

s4、根据数据包集合和步骤s3的分析结果生成检测报告，检测报告主要包括wifi设备名称、wifi设备类型、wifi信号数据类型、wifi信号出现的时段、wifi信号强度信息等内容，其中wifi信号强度可以直接通过采集模块获取。将数据包集合、分析结果和检测报告对应的存储到关系型数据库中，后续可以通过关键词从关系型数据库中调取相关数据，比如通过数据包序号调取相应的数据包集合、分析结果和检测报告。

s5、在终端上访问关系型数据库，从关系型数据库中获取检测报告，并在终端上展示检测报告中的内容，展示方式可以是表格、文本等。

本发明还提出了一种wifi信号数据的采集和处理系统，如图2所示，包括wifi数据采集模块1、wifi数据传输模块2、wifi数据分析模块3和wifi数据展示模块4。通过wifi数据采集模块采集wifi信号传输的数据，然后将数据打包后由wifi数据传输模块传输到wifi数据分析模块，wifi数据分析模块利用现有的一些数据库和机器学习算法分析wifi数据，得到传输该wifi数据对应的wifi设备名称、设备类型和wifi信号数据类型，wifi数据分析模块分析得到的结果跟采集到的wifi数据一起组合形成检测报告，相关人员可以在wifi数据展示模块查看检测报告。

wifi数据采集模块主要用于监听检测区域内的wifi信号，采集wifi信号传输的协议包，wifi数据采集模块可以采用无线路由网卡、专业wifi模块、路由器等无线设备，wifi数据采集模块的核心芯片需要采用遵守ieee802.11协议的wifi芯片，wifi数据采集模块的检测区域大小一般由采用的硬件设备或芯片决定。本发明的wifi数据采集模块工作在数据链路层，wifi协议的2.4ghz频段在国内共使用13个频点，wifi数据采集模块可以使用分时方式对需要的频点进行单独监听或者循环监听，并对ieee802.11协议格式数据包进行抓取和基础分析，提取出协议包帧头部分中需要的数据。

wifi数据传输模块用于临时存储wifi数据采集模块采集的多个协议包，并通过有线或无线网络将采集的协议包打包后传输到wifi数据分析模块，wifi数据传输模块的传输方式包括但不限于wifi、蓝牙、usb、rs-485总线、wlan。wifi数据传输模块不是必须模块，如果将wifi数据采集模块与wifi数据分析模块直接合并在同一套嵌入式设备上实现两者的数据传输，这种情况下可以省略wifi数据传输模块。为了保证wifi数据分析模块有足量的数据进行分析，也为了节约网络资源，wifi数据传输模块会整理并临时存储wifi数据采集模块采集到的数据，当wifi数据堆积到一定的量之后再统一打包传输给wifi数据分析模块。

wifi数据分析模块主要用于分析wifi数据采集模块采集到的数据，根据现有数据库和机器学习算法判断该wifi信号对应的wifi设备名称、wifi设备类型和wifi信号数据类型，并生成检测报告，本发明中，wifi设备类型包括手机、平板、笔记本、打印机、数码相机、无线摄像头等，wifi信号数据类型包括音频、视频等。检测报告是根据wifi数据采集模块采集的数据和wifi数据分析模块的分析结果生成的，检测报告包括wifi设备名称、wifi设备类型、wifi信号数据类型、wifi信号出现的时段、wifi信号强度信息等内容。

wifi数据展示模块用于存储采集的wifi数据、分析结果和检测报告，并在终端展示检测报告，wifi数据展示模块可以分为数据库端和展示端，数据库端依托服务器上的关系型数据库，将采集的wifi数据、分析结果和检测报告对应的存储在关系型数据库中，展示端可以访问数据库端，获取检测报告并进行展示，展示端可以是手机、电脑、平板等终端上安装的软件，也可以是网页。

本发明方法和系统可以自动采集并处理空中传输的wifi数据，判断发送该数据的wifi设备的名称、类型、wifi数据类型等，本发明方法计算过程简单，计算量较小，计算结果精准，本发明系统可以非接触的实现数据采集，成本较低，数据采集灵活快捷，本发明方法和系统实现了对wifi设备的实时检测，生成的检测报告可以方便相关人员查看wifi设备信息，进而实现对wifi设备的监管。

上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。