一种基于hololens眼镜的专家远程指导系统及实现方法与流程

本发明涉及AR设备维修的技术领域，具体涉及一种基于hololens眼镜的专家远程指导系统及实现方法。

背景技术：

目前AR设备越来越多的被应用，现有的AR眼镜在三维叠加显示、图像空间定位及操作控制方面还不够完善，此外交互方式比较单一。中国发明专利一种利用AR实现远程指导现场排查故障的方法及设备(申请公布号：CN107277451A)，公开了其AR眼镜、装设于该AR眼镜上的摄像头、CPU模块、无线通信模块、摄像头接口、视频接口、远程终端控制系统，其中，CPU模块、无线通信模块、视频接口、摄像头接口集成在一控制盒内并装设于AR眼镜上；CPU模块通过无线通信模块与远程终端控制系统无线信号连接；摄像头通过摄像头接口与CPU模块连接，AR眼镜通过视频接口与CPU模块连接。该发明可以实现工程师在画面上与技术员进行动态的互动，其仅能实现视频语音交互及远程标注，标注的信息无法定位在空间中，无法让技术员现场查看资料，排查过程无法记录。

技术实现要素：

发明目的：为了解决现有技术存在的问题，为检修人员提供精确高效的远程实时指导能力，本发明提供一种基于hololens眼镜的专家远程指导系统及实现方法。

技术方案：一种基于hololens眼镜的专家远程指导实现方法，包括以下步骤：

(1)现场检修人员戴上hololens智能眼镜，hololens智能眼镜连接无线路由器WiFi；

(2)利用hololens智能眼镜上的摄像头对当前检修场景进行采集，利用hololens智能眼镜上的麦克风对现场声音进行采集；

(3)将采集到的音视频通过编码器编码并转换成音视频流，hololens智能眼镜将音视频流发送至服务器；

(4)服务器接收到音视频流后，将音视频流发送至远程专家的终端设备上；

(5)终端设备接收到音视频流，对音视频流进行处理，并播放音视频；

(6)专家通过终端设备在视频上对现场实景的位置进行标注，并与现场检修人员进行语音通话或发送视频给现场检修人员，终端设备记录所标注的位置、图形与文字；终端设备将位置、图形、文字信息转换成数组，将语音及视频信息转换成音视频流，再通过网络发送至服务器，服务器再将标注的位置、图形、文字、语音及视频信息转发至hololens智能眼镜；专家标注的整个指导过程通过终端设备进行录像；

(7)hololens智能眼镜收到标注的位置、图形、文字、语音及视频信息后，将数据进行转换，并按照标注将图形绘制到空间相对应的位置上，并将接收到的文字、视频显示在hololens智能眼镜视野中，语音通过hololens智能眼镜的喇叭播放出来；

(8)检修指导结束后，后方PC机自动将现场视频、专家指导过程录屏并保存为维修记录视频文件，并将维修记录视频文件上传至服务器存储。

优选的，步骤(6)、(7)将专家绘制的图形在hololens智能眼镜上显示的具体方法包括：hololens智能眼镜与终端设备初始时都以hololens智能眼镜的起始坐标为原点，现场检修人员佩戴hololens智能眼镜时，hololens智能眼镜定时将当前眼镜的位置和观察方向同步到终端设备，终端设备会实时更新当前视野的位置和方向，当专家在终端设备屏幕上绘制图形时，终端设备上的指导软件记录下图形中关键点的坐标，并定时将关键点坐标发送到远程hololens智能眼镜，hololens智能眼镜收到关键点坐标后，在视野前的虚拟屏幕上按照关键点坐标绘制图形点，形成专家在终端设备上绘制的图形。

优选的，所述步骤(6)中，终端设备为PC机、手机、平板电脑中的一种或多种，专家通过鼠标在计算机显示屏上绘制图形，或在手机、平板电脑的触摸屏上绘制图形。

一种基于hololens眼镜的专家远程指导系统，包括hololens智能眼镜、无线路由器、服务器、终端设备，所述hololens智能眼镜、终端设备均通过无线路由器与服务器之间进行数据传输；

所述hololens智能眼镜包括处理器、存储器、摄像头、耳麦，所述存储器中存储有计算机程序，所述程序被处理器执行时能够实现以下步骤：将hololens智能眼镜采集的音视频数据传输至服务器；接收服务器传送过来的终端设备标注的位置、图形、文字、语音和视频；按照标注的位置将图形绘制到空间相对应的位置上，将文字、视频显示在hololens智能眼镜视野中，通过hololens智能眼镜的喇叭播放出语音；

所述服务器包括处理器、存储器，所述存储器中存储有计算机程序，所述程序被处理器执行时能够实现以下步骤：接收hololens智能眼镜传输过来的音视频数据，并转发至终端设备；接收终端设备传输过来的标注位置、图形、文字、语音、视频，并转发至hololens智能眼镜；

所述终端设备包括处理器、存储器，所述存储器中存储有计算机程序，所述程序被处理器执行时能够实现以下步骤：接收服务器传送过来的音视频信号，并在显示屏上播放；记录鼠标或触摸屏输入的标注位置、图形及文字，采集视频或语音，并将标注位置、图形、文字、语音及视频信号传输至服务器。

优选的，终端设备为PC机、手机、平板电脑中的一种或几种。

有益效果：相比较现有技术，本发明提供的一种基于hololens眼镜的专家远程指导系统及实现方法，具有以下优点：

(1)可以将远程标注的信息准确的定位到空间位置上，可以通过语音命令识别技术实现语音控制，可以通过三维空间物体识别技术识别一些特定的手势动作，从而实现语音、手势调取帮助教程，达到解放双手的目的而且可以通过语音、手势等方式与hololens眼镜交互，从而解放双手；

(2)后台专家能够发送文字、图片、视频等信息到hololens眼镜上显示，增加远程指导交互方式，使专家远程指导更加形象，提高检修效率，提高检修准确度；

(3)维修记录能够保存，便于日后追踪；

(4)将hololens眼镜、服务器、平板电脑、计算机等有机集成，构成一套完整的专家远程指导系统，便于对检修工作进行管理；

(5)采用微软hololens智能眼镜，该眼镜具有强大的三维图像叠加加空间定位能力，可以将标注信息定位到空间中而不会随着操作人员的走动而改变位置，而且还可通过手势及语音与智能眼镜交互，增强了交互性，此外，还增加了文字、图片、视频传输功能。

附图说明

图1为本发明基于hololens眼镜的专家远程指导系统的结构图；

图2为本发明基于hololens眼镜的专家远程指导系统的数据流图；

图3为本发明各模块关系图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

如图1所示，一种基于hololens眼镜的专家远程指导实现方法，包括以下步骤：

(1)现场检修人员戴上hololens智能眼镜，hololens智能眼镜连接无线路由器WiFi；

(2)利用hololens智能眼镜上的摄像头对当前检修场景进行采集，利用hololens智能眼镜上的麦克风对现场声音进行采集；

(3)通过CPU对采集的视频进行处理，用H264编码，并转换成mp4格式的音视频流，hololens智能眼镜将音视频流通过wifi模块传输到无线路由器，无线路由器再将数据转发到服务器；

(4)服务器接收到音视频流后，将音视频流发送至远程专家的终端设备上；

(5)终端设备接收到音视频流，对音视频流进行处理，并播放音视频；

(6)专家通过终端设备在视频上对现场实景的位置进行标注，并与现场检修人员进行语音通话或发送视频给现场检修人员，终端设备记录所标注的位置、图形与文字；终端设备将位置、图形、文字信息转换成数组，将语音及视频信息转换成mp4格式的音视频流后再通过网络发送至服务器，服务器再将标注的位置、图形、文字、语音及视频信息转发至hololens智能眼镜；专家标注的整个过程通过终端设备进行录像；

其终端设备为PC机、手机、平板电脑中的一种或多种，专家通过鼠标在计算机显示屏上绘制图形，或在手机、平板电脑的触摸屏上绘制图形。

(7)hololens智能眼镜收到标注的位置、图形、文字、语音及视频信息后，将数据进行转换，并在全息镜片上显示指导信息，将图形绘制到空间相对应的位置上，并将接收到的文字、视频显示在hololens智能眼镜视野中，语音通过hololens智能眼镜的喇叭播放出来；

其中，将专家绘制的图形在hololens智能眼镜上显示的具体方法包括：hololens智能眼镜与终端设备初始时都以hololens智能眼镜的起始坐标为原点，现场检修人员佩戴hololens智能眼镜时，hololens智能眼镜定时将当前眼镜的位置和观察方向同步到终端设备，终端设备会实时更新当前视野的位置和方向，从而实现hololens眼镜与远程终端的坐标系同步，当专家在终端设备屏幕上绘制图形时，终端设备上的指导软件记录下图形中关键点的坐标，并定时将关键点坐标发送到远程hololens智能眼镜，hololens智能眼镜收到关键点坐标后，在视野前的虚拟屏幕上按照关键点坐标绘制图形点，形成专家在终端设备上绘制的图形(虚拟屏幕相当于在视野前设置了一个透明的屏幕，其跟随维修人的视野走动)。

(8)检修指导结束后，后方PC机自动将现场视频、专家指导过程录屏并保存为维修记录视频文件，并将维修记录视频文件上传至服务器存储。

如图2所示，基于hololens眼镜的专家远程指导系统的硬件平台包括hololens眼镜、无线路由器、平板电脑、服务器、PC机，hololens眼镜部署在检修现场，计算机部署在专家工作场所，平板电脑可由专家随身携带，服务器部署在机房。专家远程指导系统将各个设备有机结合，形成一套完整基于AR的检修解决方案。本实施例中的终端设备为平板电脑、PC机，也可以是PC机等其他终端；所述hololens智能眼镜、终端设备均通过无线路由器与服务器之间进行数据传输；各设备间的数据通信采用TCP/IP协议，通过封装的socket接口收发数据，数据与通信接口经过优化处理，占用带宽低，延迟低，容错性好。hololens智能眼镜集成了处理器、存储器、摄像头、耳麦等硬件设备，搭载windows 10操作系统，相当于一款头戴式计算机，作为一款全息计算设备，提供了丰富的应用开发接口，支持多种windows开发工具，本发明采用unity3D应用软件开发系统软件，unity3D可发布成windows、android、web等多种格式的应用软件，大大节约了开发成本。

所述hololens智能眼镜包括处理器、存储器、摄像头、耳麦，所述存储器中存储有计算机程序，所述程序被处理器执行时能够实现以下步骤：将hololens智能眼镜采集的音视频数据传输至服务器；接收服务器传送过来的终端设备标注的位置、图形、文字、语音和视频；按照标注的位置将图形绘制到空间相对应的位置上，将文字、视频显示在hololens智能眼镜视野中，通过hololens智能眼镜的喇叭播放出语音；

所述服务器包括处理器、存储器，所述存储器中存储有计算机程序，所述程序被处理器执行时能够实现以下步骤：接收hololens智能眼镜传输过来的音视频数据，并转发至终端设备；接收终端设备传输过来的标注位置、图形、文字、语音、视频，并转发至hololens智能眼镜；

所述终端设备包括处理器、存储器，所述存储器中存储有计算机程序，所述程序被处理器执行时能够实现以下步骤：接收服务器传送过来的音视频信号，并在显示屏上播放；记录鼠标或触摸屏输入的标注位置、图形及文字，采集视频或语音，并将标注位置、图形、文字、语音及视频信号传输至服务器。

如图3所示，系统软件主要由hololens客户端软件、后台管理软件、专家指导客户端软件组成，软件主要由虚拟维修指导，音视频实时传输，远程标注，文字、图片、视频传输，后台管理等几个模块组成。其中，hololens眼镜上部署远程指导客户端软件，主要实现维修教程指导，音视频实时传输，远程标注显示，文字、图片、视频接收显示，维修过程录像等功能；服务器上部署后台管理软件，主要实现人员管理，数据转发，维修管理统计等功能；平板电脑或计算机上部署专家指导客户端软件，主要实现音视频实时传输，远程标注，文字、图片、视频发送，指导过程录像等功能。

本发明将hololens智能眼镜应用到检修领域，将hololens眼镜、平板电脑、服务器、计算机集成为一套完整的系统，提供一套完整的基于AR的检修解决方案。专家可以远程查看操作人员hololens眼镜上的图像，还能在终端上绘制图像并传送到hololens眼镜，此外还能与操作人员通过语音通话，并能发送文字、图片、视频等资料给操作人员进行维修指导。相比于传统的AR远程指导系统，hololens眼镜通过全息处理单元在全息镜片中显示三维全息物体，通过slam空间定位技术将标注的图形定位在固定位置上，操作人员还可通过手势、语音等方式与hololens智能眼镜进行交互，通过语音命令识别技术实现语音控制，通过三维空间物体识别技术识别一些特定的手势动作，从而实现语音、手势调取帮助教程，解放双手，提高工作效率，此外，专家还能发送文字、图片、视频等信息到hololens智能眼镜，并能将整个维修过程的视频保存下来，便于日后追踪。该系统可以有效提升操作人员的维修能力，增强维修人员的工作效率，强化对维修过程的追踪统计能力。