一种基于深度学习技术的智能家居控制系统及控制方法与流程

本发明涉及一种基于深度学习技术的智能家居控制系统及控制方法，属于基于深度学习技术的智能家居控制技术领域。

背景技术：

近年来随着深度学习技术的进步，尤其是人脸识别、肖像建模技术的进步，使得实现智能家居成为可能。用户进入室内前，需要刷卡，刷脸或者使用指纹开门。进入室内后，音响、热水器、扫地机器人等都需要人去手动或语音进行开启或调节，也比较麻烦，没有做到协同工作、并不智能化。

本发明的目的在于提供一种智能家居控制系统，使得用户进入室内前，通过人脸识别摄像头主动开门。进入室内后，音响根据门锁发送的识别结果主动播放用户喜欢的节目，热水器根据用户习惯来决定是否自动加热，扫地机器人是否自动开启或停止工作。

技术实现要素：

本发明是为解决现有技术中的问题而提出的，技术方案如下，

一种基于深度学习技术的智能家居控制系统，包括一体化平台和与其通信连接的人脸识别门锁、智能音响、热水器和扫地机器人，所述一体化平台包括设备通信模块、数据采集模块和肖像建模模块，

所述设备通信模块，用以建立与人脸识别门锁、智能音响、热水器和扫地机器人的连接；

所述数据采集模块，用以采集用户指令、用户id，智能音响、热水器和扫地机器人对应的执行情况信息；

所述肖像建模模块，用以将数据采集模块采集的信息作为训练样本，进行肖像模型训练；肖像模型的输入包括用户id，开门时间和天气信息，肖像模型的输出包括智能音响选择播放的节目种类、热水器是否打开、扫地机器人的开始工作时间；

通过人脸识别门锁的人脸识别信息来确定用户id，数据采集模块采集用户id后，与该用户id对应的肖像模型预测用户行为主动给智能音响、热水器和扫地机器人发送指令。

优选的，所述人脸识别门锁、智能音响、热水器和扫地机器人的id值输入到一体化平台的设备通信模块，通过局域网与一体化平台的设备通信模块建立tcp连接。

进一步的，所述人脸识别门锁、智能音响、热水器和扫地机器人每隔3秒发送心跳报文到一体化平台的设备通信模块，报文内容采用json格式的字符串，若一体化平台的设备通信模块超过3秒未收到人脸识别门锁/智能音响/热水器/扫地机器人的心跳报文，则该设备与设备通信模块的连接状态设置为“断开”，设备通信模块尝试与该设备重新建立tcp连接，若能重新建立连接，则设备状态设置为“已连接”。

优选的，所述数据采集模块采集的数据包括用户id、用户指令、设备的运行信息，

所述用户id的确认通过人脸识别门锁将识别信息发送给一体化平台的肖像建模模块来确认；

所述用户指令包括语音指令和操作指令；

所述设备的运行信息包括智能音响当前播放的节目、热水器是否在烧水、扫地机器人是否处于工作状态。

优选的，所述数据采集模块采集的数据还包括从网上爬取的天气信息、时间信息及节假日信息。

优选的，所述肖像模型训练时，校验集需要选用距离当前时刻较近的样本，即时间距离值较小的样本。

进一步的，所述肖像模型训练的训练频率为每3天一次，每次训练时，训练样本需要重新制作，需要添加最近3天的用户操作信息、天气信息、时间信息，训练样本中的“时间距离”需要重新计算，校验集也需要重新选择。

一种基于深度学习技术的智能家居的控制方法，包括如下步骤：

步骤a，一体化平台与人脸识别门锁、智能音响、热水器和扫地机器人建立连接；

步骤b，通过人脸识别门锁获取人脸识别信息，确定用户id；

步骤c，通过一体化平台采集用户指令、用户id，智能音响、热水器和扫地机器人对应的运行信息；

步骤d，判断是否需要训练肖像模型，若需要，则执行步骤e；若不需要，则执行步骤f；

步骤e，进行肖像模型训练；

步骤f，预测用户行为主动给智能音响、热水器和扫地机器人发送命令。

本发明通过一体化平台收集用户指令、用户id，智能音响、热水器和扫地机器人对应的运行信息，并根据收集的信息为用户做肖像模型，预测用户行为，主动启动设备，无需用户手动或语音进行开启或调节，做到各设备协同工作，智能化运行管理。

附图说明

图1是本发明一种基于深度学习技术的智能家居控制系统的框架图。

图2是本发明一种基于深度学习技术的智能家居的控制方法的工作流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于深度学习技术的智能家居控制系统，包括一体化平台和与其通信连接的人脸识别门锁、智能音响、热水器和扫地机器人，所述一体化平台包括设备通信模块、数据采集模块和肖像建模模块，

所述设备通信模块，用以建立与人脸识别门锁、智能音响、热水器和扫地机器人的连接；

所述数据采集模块，用以采集用户指令、用户id，智能音响、热水器和扫地机器人对应的执行情况信息；

所述数据采集模块采集的数据包括用户id、用户指令、设备的运行信息，所述用户id的确认通过人脸识别门锁将识别信息发送给一体化平台的肖像建模模块来确认；所述用户指令包括语音指令和操作指令；所述设备的运行信息包括智能音响当前播放的节目、热水器是否在烧水、扫地机器人是否处于工作状态。所述数据采集模块采集的数据还包括从网上爬取的天气信息、时间信息及节假日信息，天气信息包括温度、湿度、阴晴雨雪等。所述用户指令可包括用户开门后针对各设备的习惯性操作指令，数据采集模块采集各设备按照用户操作指令的执行结果，通过执行结果来体现操作指令。

所述肖像建模模块，用以将数据采集模块采集的信息作为训练样本，进行肖像模型训练；肖像模型的输入包括用户id，开门时间和天气信息，肖像模型的输出包括智能音响选择播放的节目种类、热水器是否打开、扫地机器人的开始工作时间；

用户进门时，人脸识别门锁通过人脸识别摄像头对用户人脸进行识别，并分析人脸识别信息，确定用户身份及对应的用户id值，用户进门后，智能音响、热水器和扫地机器人将用户的所有指令和指令对应设备自身的运行信息发送给一体化平台，一体化平台的肖像建模模块训练肖像模型，如用户指令为操作指令，则通过设备自身的运行信息来反馈操作指令，供数据采集模块进行识别；通过人脸识别门锁的人脸识别信息来确定用户id，数据采集模块采集用户id后，与该用户id对应的肖像模型预测用户行为主动给智能音响、热水器和扫地机器人发送指令。

所述人脸识别门锁、智能音响、热水器和扫地机器人的id值输入到一体化平台的设备通信模块，通过局域网与一体化平台的设备通信模块建立tcp连接。所述人脸识别门锁、智能音响、热水器和扫地机器人每隔3秒发送心跳报文到一体化平台的设备通信模块，报文内容采用json格式的字符串，具体格式为{“id”,”具体的设备id值”}，若一体化平台的设备通信模块超过3秒未收到人脸识别门锁/智能音响/热水器/扫地机器人的心跳报文，只要人脸识别门锁、智能音响、热水器、扫地机器人中任一设备未收到心跳报文，则该设备与设备通信模块的连接状态设置为“断开”，设备通信模块尝试与该设备重新建立tcp连接，若能重新建立连接，则设备状态设置为“已连接”。

所述肖像模型训练时，进行深度学习，深度学习体系内，构建深度学习网络，让网络了解特征和结果，需要有训练的过程，所以也就产生了训练集，训练集以向量的方式输入到模型中，通过期望结果和模型结构不断调优，最终形成稳定并且可用网络。最后，为了校验网络准确性，使用预留数据，该预留数据就是校验集，将校验集放到模型体系内，即可完成模型校验工作。训练集不做特殊要求，校验集有特殊需求，校验集需要选用距离当前时刻较近的样本，即时间距离值较小的样本。训练频率为每3天一次，每次训练时，训练样本需要重新制作，需要添加最近3天的用户操作信息、天气信息、时间信息，时间信息包括开门时间，训练样本中的“时间距离”需要重新计算，校验集也需要重新选择。

如图2所示，一种基于深度学习技术的智能家居的控制方法，包括如下步骤：

步骤a，一体化平台与人脸识别门锁、智能音响、热水器和扫地机器人建立连接；

步骤b，通过人脸识别门锁获取人脸识别信息，确定用户id；

步骤c，通过一体化平台采集用户指令、用户id，智能音响、热水器和扫地机器人对应的运行信息；

步骤d，判断是否需要训练肖像模型，若需要，则执行步骤e；若不需要，则执行步骤f；

步骤e，进行肖像模型训练，肖像模型训练结束后执行步骤f；

步骤f，预测用户行为主动给智能音响、热水器和扫地机器人发送命令。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。