在12 月 15 日举办的UNREAL VR DEV DAY中,Nvidia资深的开发工程师杨雪青围绕英伟达VRWorks的相关技术进行了介绍。

3

“目前我们头戴设备显示器分别率是2K,刷新是90HZ,由于VR渲染的时候需要变形处理,所以我们真正渲染的时候至少需要渲染一张3K分辨率的图象,游戏渲染帧要达到90,给游戏带来的负担是普通游戏的7-8倍,这个要求就非常高。”杨雪青解释了VR游戏渲染的重要性,“高分辨率、高帧率、低延迟就会带来很大挑战,有些开发者不得不降低游戏品质来满足性能的条件”

在演讲中,杨雪青着重介绍了三种可以在单显卡上运用的技术,多分辨率着色、透镜匹配着色和单遍立体。“为了给大家展示如何在VR游戏当中使用我们的东西进行物理模拟,我们做了自己的第一个游戏《VR Funhouse》,现在已经公开了,是完全免费的。里面包含了各种物理效果,比如说毛发、粒子等物理效果,有兴趣的开发者可以拿过来体验。”

以下是演讲内容:

杨雪青:大家好,非常高兴参加今天的会议,跟大家分享一些VR方面的制作技术。大家知道目前VR是游戏开发的重要领域之一,我们英伟达对VR这块也是非常重视,投入了很多人力物力,此前已经有专门针对VR做的硬件特性。我们希望广大开发者能够使用GPU的硬件特性和性能来打造高品质的VR游戏,所以我们提出了VRWorks这样一个SDK帮助开发者达到这样的目的,我今天演讲的题目就是英伟达VRWorks及其在游戏当中的应用。

随着VRWorks不断发展,VRWORKS对VR的支持是非常全面的,基本上已经涵盖了目前VR制作的各个方面。比如可以模拟环境的真实感,同时可以提供玩家与虚拟环境交互产生的非常真实的信息。游戏开发者可以通过这个信息反馈设备,给玩家提供真实的反馈结果,提高VR的沉浸感。还有在虚拟环境中模拟声音的传播,从听觉方面也给我们玩家带来了更加逼真的VR体验。而在视频制作方面,、用我们显卡可以帮助大家加速视频的制作。

目前VR游戏开发中,VR的渲染仍然是游戏开发的重要挑战,所以今天我还是主要讲一下这块的技术。

两种模式提高渲染帧率、保证渲染质量和降低延迟

在讲这个技术之前,首先我们了解一下VR渲染的特点。其实VR的渲染从原理上来讲,和普通的渲染并没有什么太大的区别。在对性能要求上,VR渲染对性能要求非常高。大家知道一个普通的传统游戏分辨率达到1080P,刷新率达到30帧,就可以给玩家很好的游戏体验,但是这个配置在VR里面绝对不够。目前我们头戴设备显示器分别率是2K,刷新是90HZ,由于VR渲染的时候需要变形处理,所以我们真正渲染的时候至少需要渲染一张3K分辨率的图象,游戏渲染帧要达到90,给游戏带来的负担是普通游戏的7-8倍,这个要求就非常高。

2

另外一般游戏不会考虑的一个问题就是延迟,大家知道一个VR的用户当他的头部戴着头盔转动一下之后,如果他看到相应反馈图象的延迟大于20毫秒就会产生眩晕和身体上的不适,因此VR游戏还要保证渲染延迟小于20毫秒。

高分辨率、高帧率、低延迟就会带来很大挑战,有些开发者不得不降低游戏品质来满足性能的条件,这不是我们所愿意看到的。因此我们推出VRWorks帮助大家提高渲染帧率,保证渲染的质量。

首先我们通过多个GPU提速VR的渲染,我们把左右眼渲染任务分别到不同GPU上完成,这样可以有效缩短渲染时间。一方面可以调整帧率,另一方面由于渲染时间缩短了、延迟也缩短了,所以可以很好地减少渲染延迟。

目前有两种工作模式,一种叫做AffinityMasking。这种模式就可以指定到特定的VR上进行渲染,大家知道传统的引擎都是做双渲染的,把场景针对左眼和右眼各一次。使用我们的工具,可以同时渲染,提高渲染的效率。另外由于我们的设置是非常简单的,所以可以非常容易被集成到现有工具中。

另外一种方式叫做广播模式,Broadcasting。这种方式可以通过显卡仅需渲染一次场景,但是由于它需要保证渲染正确性,所以它需要在渲染之前就把所对应的参数预先设置好,这样就需要我们对引擎做一些改动,在把双眼参数设置好再进行渲染。

三种可在单显卡上运用的技术

给大家介绍三个可以在单显卡上运用的技术。首先,多分辨率着色。讲这个技术之前,我们首先了解一下VR设备渲染的特点。我们看VR设备屏幕的时候并不是眼睛直接看的,而是通过透镜去看,图象会有一个变形,会把四周图形进行拉伸,这种变形我们称之为枕形畸变。为了让用户看到一张比例正常的图象,我们目前的做法是这样,VR游戏首先渲染一张比例正常的图象,然后头戴设备里会把这张图象进行反向变形,把四周进行压缩,这种变形称之为桶形畸变。这两种变形相互抵消,玩家就可以看到正常的图象。

这两张图象中心区域没有什么变化,但是周边压缩的很厉害,也就是说在普通渲染里在周边渲染了过多象素,如果可以把这些冗余象素渲染去掉就可以有效提高帧率。这就是多分辨率着色的方法。

把图象分成九个区域,保证中间区域的分辨率不变,降低四周的分辨率。通过多投影的特性,我们可以非常高效地以一遍的场景完成九宫格渲染。有些VR游戏开发者也会降低整体画面分辨率来降低渲染,这种方式是不可取的。

随着我们Pascol GPU的推出,也就是1080代表的一系列,对我们前面提到的多投影特性又增加了一些小的辅助特性,这样就带来两个新的技术。一个叫做透镜匹配着色,还有一个叫单遍立体。

首先我们来看一下透镜匹配着色,这个技术基本的思路和想法和前面我提到的多分辨率着色是一致的,也是要减少冗余象素的渲染从而提高渲染。不同的是我们并不是画九宫格,这次是八边形。它的面积和形状和最终要显示的图象更加接近,而且也是中间分辨率高,渐渐往四周低下去,所以象素分布也与最终要显示的图片更加匹配,因此我们称之为透镜匹配着色。

再来看下单遍立体。在前面我讲的时候提到的,在VR情景下,我们有一个广播模式,熟悉UE4的开发者应该知道,UE4有一个类似的技术,这种方式和它有什么区别?我在这里跟大家讲一下,它的区别主要在后面GPU上面。Input的方法是生成了新的几何体,在几何处理管线之前生成的,也就是说它还是要完整地渲染两个几何体,所以GPU开销并没有降低。但是Cull是在之后生成的,因此Cull还可以提升绿色部分的性能,减少绿色部分处理的开销,所以与Input相比,这种方法还提升GPU效率。

4

当UE4用我们的方法集成了之后VRWorks之后,使用起来是非常简单的,大家启动之后,就可以在Project Setings里面打开三个选项,提示一下,打开这几个技术可能要重新启动一下引擎。打开游戏支持之后我们提供了Console变量,来让大家对这个技术进行实时的控制。我们的MultiresRendering和Lens还提供了几个等级的设置,等级的设置越高对帧的提升就越明显,但是对周边画质影响就越大,大家可以根据自己的游戏特点选择不同的特质,或者可以放在UI里面让玩家自己调整。

另外我也说过,现在我们的VRWorks涵盖的范围很大,不只是物理图象渲染这块。为了给大家展示如何在VR游戏当中使用我们的东西进行物理模拟,我们做了自己的第一个游戏《VR Funhouse》,现在已经公开了,是完全免费的。里面包含了各种物理效果,比如说毛发、粒子等物理效果,有兴趣的开发者可以拿过来体验,把这些技术借鉴到自己的游戏中去。由于我们的游戏目的并不是赚钱是教学目的,因此它是公开的,可以在我们的官网上找到相关的内容。