MR混合现实技术全解读——数字展示在线技术大讲堂

MR，既是“混合现实”(Mixed Reality)，而是由“智能硬件之父”多伦多大学教授Steve Mann提出的介导现实，全称Mediated Reality。
在上世纪七八十年代，为了增强简单自身视觉效果，让眼睛在任何情境下都能够“看到”周围环境，Steve Mann设计出可穿戴智能硬件，这被看作是初步对MR技术的探索。
VR是纯虚拟数字画面，而AR虚拟数字画面加上裸眼现实，MR是数字化现实加上虚拟数字画面。从概念上来说，MR与AR更为接近，都是一半现实一半虚拟影像，但传统AR技术运用棱镜光学原理折射现实影像，视角不如VR视角大，清晰度也会受到影响。
MR技术结合了VR与AR的优势，能够更好地将AR技术体现出来。

前面介绍VR和AR技术其实也是为这个版块做的铺垫，虚拟现实和混合现实的产业链有大量的重叠部分，技术也是如此。
1. 感知系统
要把现实整合进虚拟，就需要3D建模，但是还需要运动感知，所以感知系统很重要。
图像识别：计算机系统快速和精确地分析图像并识别其中的特征的能力。
首先你得把现实的东西虚拟化，也就是先得用摄像头捕捉画面，但我们都知道摄像头捕捉的画面都是二维的，也就是画面是扁平的，没有立体感，所以还得把二维的图像通过计算机形成三维的虚拟图像，这叫3D建模，只有这样虚拟化之后，你才能把它很好地融合进虚拟的3D世界里面。
同步位置和映射(SLAM)：一套用于定位一个人并同时映射环境的技术。
SLAM是混合现实应用的关键。为了在新的、未知的或不断变化的环境中发挥作用，技术需要不断地创建这些环境的地图，然后定位和跟踪一个人在其中的运动。采用图像识别和深度传感器数据的SLAM算法来计算用户在物理世界中的位置。
除了HTC的Vive追踪器，感知系统里面比较出名的有Intel的解决方案叫RealSense，微软的Kinect体感装置，和一个创业公司做的体感系统叫Leap Motion等等，未来这些体感的硬件都会有很大的市场空间。
当然除了硬件，还有很多公司基于硬件检测到的数据做算法的分析，能够实现对运动的实时跟踪。
2. 开发工具
苹果公司就直接推出来了给自己的增强现实平台做开发的一套系统ARKit，并且向所有的第三方开发者开放。同时，它对另一个开发工具公司是完全兼容的，这个工具叫Unity 3D，是由Unity公司推出来的。所以，Unity公司应该在未来有很大的成长空间。这家公司也被很多中国公司投资了，包括华山资本、掌趣都投了，所以也是中国在全球游戏产业上有全球性布局的一个范例。
3. 显示设备
我们容易习以为常地认为不管是增强现实也好，还是虚拟现实也好，都需要在头上戴一个大的头盔，戴一个大显示器。因为不管是虚拟现实的Oculus，还是增强现实的Mata，都是这么个设备。但实际上苹果作了一个很好的示范，就是手机本身就可以是一个显示器。我们自然可以想到，iPad也可以是个显示器，而且苹果这回是下定决心用Pad来实现所有的移动计算能力，使它未来成为移动笔记本电脑的替代品。
你可以想象Pad未来的能力会很强大。所以，也许下一次到你家来帮你做电器维修或者疏通管道的那个工人随身就会带着个Pad，照着你的设备，然后和他的师傅远程交流来解决你们家的现实问题。
当然，不管是手机还是Pad，手持总是不够方便。所以，像“第六感”（现实和虚拟融为一体的产品）那样的可穿戴，也就是说手势可跟踪这样的设备还会出现。
比如说在你家里帮你维修的这个师傅，他手上的每一个动作都被传到他师傅那儿去，他的师傅就很容易判断他的维修方式是否正确，进而作出正确的指导。
所以我们认为，在这个混合现实的潮流当中，还会涌现出大量的可穿戴设备，也许原来没有实现产品化的"第六感"在这个潮流当中会实现产品化，尤其是一些行业专用的可穿戴系统会大量出现。
4. 底层技术
高通推出来的骁龙835芯片，基本上已经能够解决虚拟现实、扩展现实的计算需求了。
从带宽上讲，4G覆盖得越来越完善，5G也呼之欲出了。所以我们可以看到，虽然混合现实和虚拟现实产业链有点不同，但基本上还是重叠度很高的。

虚拟现实（Virtual Reality，VR）是利用VR设备模拟产生一个三维的虚拟空间，提供视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般。是“无中生有”。VR中只能体验到虚拟世界，无法看到真实环境。
增强现实（Augmented Reality，AR）是VR技术的延伸，能把计算机生成的虚拟信息叠加到真实场景中并与人实现互动。是“锦上添花”。AR中既能看到真实世界，又能看到虚拟事物。
混合现实（Mixed Reality，MR）是AR技术的升级，将虚拟世界和真实世界合成一个无缝衔接的虚实融合世界，其中的物理实体和数字对象满足真实的三维投影关系。是“实幻交织”。MR中难以分辨真实世界与虚拟世界的边界。

MR技术在工业、设计、展览、建筑、医疗、教育等行业中都具有显著的业务需求。
（一）工业应用
随着工业4.0、智能制造等概念的推广，混合现实技术因其与真实环境、真实物体进行良好结合的特性，成为提升生产力的重要工具。
MR技术包括岗位操作培训、设备维护手册、IoT数据展示，远程专家指导等等。
工作人员戴上MR眼镜在生产环境中进行巡检，其眼前的机器设备上会自动浮现出该设备当前的运行数据；
巡检员发现异常，通过眼镜完成问题上报；
根据故障信息调取处置方案，设备的维修指导信息会呈现在他的面前，并准确指出每个步骤操作的具体位置。
如果没办法解决问题，马上通过眼镜呼叫远程技术专家；
专家通过分析眼镜为现场员工提供精确的专业指导，协助完成问题的处置。
整个流程中员工仅需一副MR眼镜就可实现所有的功能。

（二）展览应用
在混合现实技术刚出现的时候，最多的应用场景就是展览和展示。MR技术非常适合展示体积庞大、结构复杂、精密昂贵、不便于携带和拆解的产品。
（三）建筑应用
MR技术将模型带出屏幕，让建筑的3D模型跃然纸上，为用户提供了透视、分层、局部放大等更直观的观看和交互的能力。通过全息3D化展示，更自然的去体验和理解设计方案，使数据通俗化。
如果MR与BIM能够进行完美的结合，把“虚”的BIM数据和“实”的施工场景进行叠加对比，甚至在建筑施工现场评估工程进度和施工精确度，将为建筑工程行业的智能化推进带来巨大的想象空间。
（四）医疗应用
MR技术在医疗场景中也有着广阔的发展空间，比如医生们可以在手术的过程中，通过混合现实眼镜方便地查阅病人影像资料、相关部位的3D模型等内容；也可将病人的全息骨骼模型准确地叠加在其身体上，辅助医生完成手术定位；结合5G等远程通讯技术，对手术现场进行直播，并实现远程多人会诊；在术式培训、医疗设备操作培训等业务场景中，同样使用MR来达到优异的培训效果。
医疗影像数据方便地转化为3D模型，利用MR全息化地展示这些模型，将平面的影像立体化，给与医生准确的空间位置判断力。空间立体化的“读片”技术显著提升年轻医生的读片准确度，也方便医生将相关病情与患者或家属进行直观的沟通。

（五）教育应用
在教育行业根据不同的学习需求开发全息教学内容，让学生们在新奇的全息互动式体验中完成知识点的学习。MR头戴式设备比较适合中学及以上年龄段的学生，对于低龄学生或学龄前儿童并不完全适用。
职业教育主要关注在技能培训和操作能力的提高。MR技术可以将培训教学内容虚拟化，并与教学现场的环境和实物叠加起来，通过虚实结合的方式辅助学生掌握操作方法。而且虚拟化的培训内容可以反复播放，实现学生独立学习的需求。

快速导航