今年以来,XR技术开始走进大众视野,越来越多的演唱会、发布会现场、电影拍摄现场以及电视节目等场景,开始运用高科技感以及逼真感的XR技术,开辟拍摄制作又一新玩法。众所周知,XR技术是一种融合AR、VR、MR技术的扩展显示技术,那XR技术是如何融合,又是如何在屏幕面前实现炫酷画面的呢?下面且听小编来分解XR技术。
XR场景技术框架包括由LED显示屏组成的拍摄场地、摄像机、物体位置追踪与定位技术、实时图形渲染引擎(AR技术)、高速低延迟的网络等几大元素组成,最后将加大元素组合的内容传输显示屏幕前,就成为炫酷的逼真的XR场景。其整体技术框架如下图所示。
XR场景的实现,首先将虚拟环境传输至现场的LED显示屏,采用物体位置追踪与定位技术对物体进行跟踪拍摄,并将素材传回至实时图形渲染引擎。与此同时,视频服务器则用本地化运行逻辑运算进行人物手势分析及图形渲染,输出立体的逼真的AR内容与拍摄素材交互呈现,而在屏幕前呈现的内容就是XR场景。值得注意的是,在现场还需要强大的网络支持,为实现XR低时延交互、全景视频等内容大带宽下发等提供强有力的支持。简单的说,XR场景就是基于现实场景,与后台炫酷的AR内容进行结合交互而来的,所以XR技术被誉为AR、VR、MR技术的融合。
案例分解
我国短片《只为梦中与你相遇》,首次采用虚拟拍摄方式,把 XR工作流程与影视行业的工作流程相结合并实行最终内容的输出。短片现场无实景、无绿幕,实时渲染场景,而演员在LED屏幕所构建的空间中进行表演。在场景渲染上,XR扩展现实使用实时渲染引擎搭建拍摄场景,通过媒体服务器输出合成,运用摄像机追踪系统定位空间位置信息,实时映射人物与场景的空间关系,实时渲染技术将照片级别的动态数字场景,在LED屏幕上还原,并实时呈现并输出一个无死角的虚拟场景,最终形成具有XR场景的短片。
此外,11月1日,的英雄联盟全球总决赛舞台,也采用了XR技术进行实时直播。由于是现场直播,没有任何重来的机会,所以一场比赛就有几十台摄像机参与其中。现场使用的全部是红外摄像机,而且在S10现场的墙壁上,有大量的这种小点,这些小点的目的是为了反射红外线。所有的红外摄像机都会安装一个特殊的模块,当摄像机移动时,它们会根据这些点的反射还有方向等,对摄像机本身进行跟踪,再实时反馈给计算机中,这套技术方案使得虚拟和现实的误差小于1毫米。另外,团队通过自己开发的插件,把Unreal引擎中的灯光与现实中的skypanel进行了匹配,也就意味着引擎里的灯光发生变化,现实中灯光也会进行同步,虚拟内容与赛场交互融合,呈现一个新的赛事直播方式。
11月10号,我国"奋斗者"号载人潜水器成功坐底马里亚纳海沟的重要时刻,中央广播电视总台央视新闻频道、央视新闻新媒体通过xR虚拟演播进行了同步科普讲解。用虚拟环境将 LED 屏幕之外的现实环境实时覆盖,并完成虚拟环境拓展的处理。详细地说就是,摄影机追踪系统 Mosys 的运用使得直播中的现场摄像机与虚拟摄像机始终保持一致与同步,并在 XR 虚拟演播室现场使用了1台 disguise vx4 媒体服务器,作为虚拟渲染引擎增强渲染和控制,而工作流程将 AR 技术带入环境之中,通过使用 Black Trax 动态追踪系统实时了解参演者和虚拟影像的位置,从而与 CG 内容更好的互动融合,给观众一种身临其境的体验,将视觉效果的传递提升到一个新的维度,与全国观众全景体验大洋10909米处的至深之蓝。
极具未来科技感的XR技术已经在我国生根发芽,个别已经开出美丽的花。虽然XR技术才刚刚兴起,但目前应用范围已经逐渐被拓宽,技术也愈加成熟。随着小间距显示技术的进一步成熟,以及点间距的进一步下探,高清细腻且可以实现裸眼3D显示,未来可以更好地当好背景板;5G网络的进一步落地,XR技术知名度的持续提升,以及相关人员技术培训体系的完善等,都将推动XR技术开始走向成熟。