成果简介
本系统是基于微软混合现实眼镜HoloLens平台开发而成的,主要功能为多人协同沙盘指挥,可用于灾害救援部署、战场指挥。
本系统实现了多个用户的实时协作控制,在混合现实中显示模拟沙盘、相关信息以及辅助物品,通过用户的手势、眼动、空间互动等信息,实现人与虚拟场景的交互、人与人之间的交互,实现多人在混合现实环境下协作的功能,达到救灾指挥、军事演练的目的。
(1)使用了混合现实的展示方式,混合现实元素的加入,使得本系统的真实感更强,更有益于指挥。
(2)实现了多人协同,多人同时在混合现实环境下协同指挥,大大扩展了系统的可用范围,多人协同是各种指挥场景必不可少的需求。
(3)更简易的交互方式,几乎所有的交互操作都配有相应的简单模式——“仅点击”操作,但同时又配有自由的适用于熟练人员控制的单手和双手操控模式,不管是对于新手还是熟练操作的人员,都能够快速操作使用。
技术指标:
(1)不少于3人的多用户协同
(2)不少于5种交互功能
本系统的设备采用微软研发的混合现实眼镜HoloLens一代,该设备是微软首个不受线缆限制的全息计算机设备,能让用户与数字内容交互,并与周围真实环境中的全息影像互动。本软件用的沙盘模型是一个简单的三维地形模型,包含简单的建筑物,其中可交互的标记为白色,其他颜色为绿色。本软件的协同交互模块可在局域网和公网通信,能够实现一定距离的多人共同协同。本软件的手势控制模块可以通过单手或双手进行操作,考虑到新用户的体验,本软件的所有交互都可以通过点击实现,主要的手势控制方式为点击,退出方式为释放五指。注视选择是HoloLens最基本的输入形式,光标位置即用户的注视位置,本软件的选中主要通过注视来实现。无论用户处于哪个位置,关键信息始终面向用户,对于多用户的场景,在每个人各自的视野中,关键信息始终面向自己,不会受到位置移动和其他用户的影响。
需要多方协同指挥的各方指挥员、需要多方远程会议的参会者
西安电子科技大学计算机外部设备研究所长期以来,研究所结合国家和国防重大需求,紧跟人机交互与可穿戴计算发展趋势,研究发展过程中需要解决的基础理论及关键技术。在微型可穿戴惯性传感器估计人体运动估计的基本理论和方法、人机自然交互控制技术、基于可穿戴传感器康复评估体系、可穿戴的肌电信号(EMG)正向/反向分析系统、脑机交互(BCI)、虚拟现实技术、图像处理技术等研究内容的基础理论、关键算法、原型系统和样机等方面取得了较大研究进展,实现了多传感器融合的可穿戴手势交互设备、在可穿戴式微型传感器人体运动捕获(MMocap)的理论和方法取得了重要突破、建立了世界上首创的基于可穿戴传感器的中风病人康复评估体系,被国际物理医学与康复医学学会主席、中国康复学会秘书长励建安教授称为是“康复医疗和教育的新路经”。研究所先后获得全国第一届科学大会奖一次,国家科技进步三等奖一次、部级科技进步二等奖十余次,整体技术水平处于国内领先水平,部分技术达到或超过国际领先水平。
目前有实验室800多平方,一大批用于开展相关研究的软硬件设备,具有以传感器采集与信号分析设备、虚拟现实设备为核心的可穿戴计算与人机交互实验平台;以高速示波器和高速逻辑分析仪为核心的高速硬件系统信号完整性测试平台;以多台工作站为核心的EDA仿真平台等一系列实验测试环境,硬件设备上具备进行相关技术高水平研究的条件。