近日,硬件厂商和OpenXR项目的推动者Sensics公司的CEO Yuval Boger(他同时也是一名专注VR/AR领域的博客作者)与Epic Gmaes 技术总监Nick Whiting进行了一次深度访谈。

Whiting在访谈中表示,虚幻引擎现在已经比较成熟,更注重开发引擎在VR/AR领域的实际应用,开发者还没能发挥出引擎的最大潜力。虚幻引擎现在很重视和企业客户的合作,利用API将合作方的技术嵌入到引擎中,实现多元应用。

Whiting还表示,现在他们逐步向企业应用的领域倾斜,成立了专门耕耘企业领域的团队,并认为第一个VR杀手级应用更可能是企业应用,因为现在在企业领域,VR技术真正在为用户节约成本、制造利益。Whiting说:“能在用户最关心的方面做出真正有价值的贡献。我觉得,这才是杀手级应用最本质的含义。

以下是采访原文:

VR行业的开放氛围是重要优势

Yuval Boger:你好Nick,请你介绍一下自己吧?

Nick Whiting:我的名字是Nick Whiting,我是Epic Games AR、VR和XR部门的技术总监。

Yuval Boger:你做这一行有多久了?

Nick Whiting:我在VR这一行活跃有差不多四年半了。基本上是Oculus在Kickstarter上的众筹逐渐受到关注的时候加入的。他们说他们搞出了一些很酷的硬件,需要在上面展示漂亮的视觉效果。几个小时之后,我开始研究我们的引擎,也就是虚幻4要如何支持Oculus,接下来的故事大家都知道了。

Yuval Boger:既然你已经潜心修炼了四年半,那么你觉得游戏引擎在支持VR这方面的独特之处是什么呢?

Nick Whiting:我觉得四年半之后,我们已经达到一个比较成熟的阶段了,可以稍微放缓脚步,不用再像之前那样把追赶硬件作为每天的首要任务。现在各个主要厂商的软件开发包都已经比较成熟了,并且还发布了消费级的产品,其他的厂商,比如Sensics这样的也已经更加了解这个领域。所以,我们终于达到了一个激动人心的部分,可以开始试验VR作为一种新媒介的可能性和潜力。我们终于差不多完成了最艰苦的造车的阶段,现在可以开始试驾,试验这辆车的性能了。

Yuval Boger:在VR和游戏引擎方面,现在还有什么难以解决的问题?

Nick Whiting:目前,我认为最大的问题是,人们总是没能发挥出引擎最大的性能。在VR中,性能表现的意义比起传统游戏更为重要,因为如果产品的性能表现不好,就很可能引发玩家的晕动症,而且VR中的性能优化又格外困难。在游戏行业的传统中,我们已经习惯了标准的1080p分辨率,每秒30到60的帧率。现在突然之间,你必须达到比这更高的分辨率、更高的帧率。这真的很难。这是游戏开发者面临的首要问题。我们一直在努力创新、寻找更简单达到VR性能要求的解决方法。

Yuval Boger:在性能优化这个问题上,是引擎公司能提供更大的帮助,还是硬件厂商能提供更大的帮助?

Nick Whiting:就这一点而言,我注意到VR其实挺有优势的,特别是与传统游戏行业相比。现在所有的VR从业者都非常在意VR本身能够成功,所有人的心态都很开放。不论是Valve还是Oculus还是其他人,所有人都很愿意提供信息、分享自己的经验,说出他们在游戏性能优化方面的心得。他们会用我们引擎开发测试原型,然后给我们测试代码,并且无偿分享给所有人。一个公司发现的优化方法可以其他公司也可以分享,因为这对VR整体的成功是有利的。

这其实是我对在VR行业工作最喜欢的一点,不像传统游戏业那样,我们对自己的代码保护得死死的,生怕别人知道了,好像我们手里是核武密码之类的了不得的秘密一样。VR行业在这方面要开放得多了。在Epic,我们感觉我们需要做的是给人们提供一个开箱即用的基本产品,然后开发者尽量利用这个工具创造自己的代码,然后我们会和开发者在各种案例和学习中合作,然后公布我们创作的内容,比如《机械重装》(Robo Recall)的MOD包,这样其他开发者就能了解我们是怎么做的,就能有效地利用好我们提供的工具,在保证画面效果的情况下优化性能。

虚幻引擎与企业用户紧密合作

Yuval Boger:游戏引擎这些年来成长很大,现在引擎包含了物理处理的内容,还有音频处理的内容。你认为引擎功能的界限在哪里呢?你觉得会不会,比如说,之后还会加入物体识别,或者眼动追踪分析,或者SLAM(simultaneous localization and mapping,即时定位与地图构建)算法?

Nick Whiting:我们的做法是制作一些API(应用程序接口),这样开发者可以把任何他们擅长的内容接入进来。我不觉得像Epic这么个几百人的公司,能够在物体识别、深度学习这样的领域和谷歌、Facebook这样的公司竞争。我们没有那么多的资源,但我们想做的是让那些公司可以采用我们的产品、使用好我们的产品,不一定是作为游戏引擎,也可以作为实时渲染引擎,在更广泛的意义上利用好这个工具,把他们的技术也嵌入其中。我认为这是我们现在开展的最有趣的合作。

Yuval Boger:你让我好奇起来了,你方便说几个例子吗,关于你说的这种合作。

Nick Whiting:在VR这边,我们最早的合作方之一是维塔数码工作室(彼得杰克逊创立的特效工作室,代表作《指环王》《阿凡达》等),他们是专门为电影做视觉效果的,他们著名的作品有《霍比特人》和《指环王》系列。我们和他们合作其实是想学习他们现有的经验,比如像是霍比特人里他们做的那条超级逼真的龙,我们希望这种效果能在每秒90帧率的条件下呈现。这个合作真的很有意思,因为他们已经习惯了做一个很复杂的东西,做好了再拿去渲染,一渲染就要整个电脑集群跑好几天,最后得到生成的结果。但是在VR中,我们只有11毫秒来完成渲染。

我们一起做了很多工作,我学到了非常非常多关于电影视觉技术规范的东西,了解了我们应该怎么利用他们所擅长的技术,也就是如何创造高度拟真和精确的视效,如何利用庞大的计算能力来制作极其精细的模拟。然后,我们结合我们在游戏制作中的经验,来提高渲染的效率。这是我最喜欢的合作项目之一。因为好莱坞对我来说一直感觉有点像魔法一样,能一窥幕后的内容真的很棒。

Yuval Boger:没错。现在你们公布了自己的源代码,我不知道你们是不是把这称作开源,但是确实大家现在都能看到这些代码。

Nick Whiting:是的,源码现在基本上都公开了。如果你去虚幻官网注册的账号,然后链接到你的Github,你就能拿到我们的所有代码。我们从几年前开始就在GDC上这么干了。说实话,第一次这么干的时候其实还是感觉蛮恐怖的,突然之间,你的孩子就毫无遮拦地展现在全世界面前了,你不知道人们会怎么看待它,或者会做些什么。但后来我们发现,实际上这为我们打开了通往更多新行业的大门,尤其是AR和VR。在影视之外,在我们所谓的企业应用方面还有如此大的利益空间。开放代码,把它们公布出来,然后让它们能够和其他领域的人所拥有的技术自由结合,比如电影业的、还有工程方面的例子。他们能以一些我们之前从来没有设想过的方式利用引擎,这对我们的业务很有帮助,而且也能使我们的成果更加多元化。这让我非常的兴奋。因为一年又一年,你一直在做游戏,常常在处理同样的问题,但是忽然之后,这些全新的挑战出现了,在此之前你甚至想都没有想象过。它会给你带来更多、更有趣的崭新的考验。

虚幻引擎正向非游戏和企业领域倾斜

Yuval Boger:你在企业应用方面会花多少时间呢,我是指在VR和游戏之外的产业?

Nick Whiting:这个每周都不一定的,时间比较波动,但是我得说我们现在越来越多地在向非游戏和企业级应用倾斜。不过有一点,企业级的用户确实不是很适应做实时交互的产品。它们大多是做离线生成,或者是大型的CAD系统。有时候一些对游戏开发者来说完全是常识的技巧也能拿来告诉它们,这些对他们来说都很新颖。

相应的,他们也会教导我们,如何在互动设计中利用素材,以及我们之前没有考虑过的用户模式问题。我们学到的东西越来越多。我真切地认为VR的第一个杀手级应用不一定是一个娱乐产品,而有可能是某个企业应用。因为如果你和制造业的生产商们聊一聊,和建筑师聊一聊,你会发现他们是实实在在地因为通过VR技术节省了成百万上千万的钱。这可能看上去没有VR电影或者VR游戏那么好玩那么酷炫,但是这是在用户最关心的方面做出真正有价值的贡献。我觉得,这才是杀手级应用最本质的含义,不是吗?

Yuval Boger:没错。对于游戏大作和企业应用,你认为同样的基础代码库就可以吗?

Nick Whiting:大体而言,用到的核心渲染技术都是一致的,不过确实根据用户的需要,会有一些不一样的问题要去处理。几周之前在SIGGRAPH上我们宣布了企业计划的一部分,专注于如何从外部CAD软件和Autodesk中实时获取巨量数据导入虚幻4引擎,以减小二者的摩擦。我们正在蒙特利尔组建一支新队伍,专注于企业应用支持、解决这一特定领域的问题。目前为止,我认为这个问题大部分在于,他们如何把多年以来投入大量财力和时间构建而成的已有的庞大系统接入到实时渲染技术中来。幸运的是,我们找到了很多非常有能力的同事,能够把这件事做好。我们对几周前公布的这个计划感到非常振奋。

VR/AR需建立统一开放平台

Yuval Boger:这些年来我们注意到在企业应用方面还有一点是他们都有非常独特的追踪系统和输入设备,这些设备并不容易获得,所以你们的引擎将会面临那么多不同的设备,你们要怎么处理呢?

Nick Whiting:这一点确实非常有趣,他们确实有非常多特别的设备,很多我们都是无法接触到的,和我们以前熟悉的游戏方面的设备也很不同。这就是为什么我们现在要推动OpenXR项目,推动建立整个VR\AR\MR\XR行业的公开标准,来消除不同设备间的鸿沟。我们期待的是能够有一个公共的平台,人们可以在这个平台之上创作内容、开发应用,然后各种迥然不同的追踪和现实技术都能结合起来,用同样的应用就可以处理。这个问题的重要意义在于,它有助于抵御未来的变化给现在的研发造成不良影响。比如说,如果企业花了很多时间在现有的硬件上开发应用,那之后硬件升级了,该怎么办?或者他们需要使用一些特定的应用,该怎么办?

(OpenXR能够应对这些问题,)这是OpenXR最了不起的、我最期待的成果。而且说实话,我觉得Sensics和OSVR在这件事上作出了非常大的贡献,你们搞出了一个综合产物,一大堆不同的设备和技术都能够结合在一起使用。这就非常灵活,而这正是我在和企业用户打交道的过程中学到的,你必须能够极其灵活地处理技术和现有系统,才能利用它们得到想要的结果。

Yuval Boger:正是这样。虚幻引擎和Sensics都是OpenXR计划的合作者,不过我们现在还不能公布太多内部工作的情况,希望不久之后我们能够公开讲讲。

Nick Whiting:是的。

Yuval Boger:关于VR我们聊了不少了,接下来聊聊AR吧。你们有没有,或者未来是否有可能把虚幻引擎运行在谷歌眼镜、或者爱普生的Moverio、或者其他AR设备上?

Nick Whiting:我们其实也特别看好AR。我觉得,VR有可能会取代别的东西的地位,但是AR不是取代,而是增强,我认为这就会有更加广阔的市场吸引力,所以我们现在非常关注AR。我们刚刚发布的虚幻引擎4.17版本,就开始支持谷歌的Tango设备(Tango是谷歌专注于现实感知和建模的一个计划,业内一般认为其主要技术是为AR服务,发布了手机原型)。我们一直在完善我们的成果,所以我们今年的工作主要是专注于AR,要跟上我们对VR技术支持的程度。因为很多问题其实是一致的,都是追踪设备方面的东西。

在封闭系统内,对性能优化的要求是比较高的,考虑到电池和发热问题。很多问题和我现在的VR技术其实是重叠的,所以我觉得我们恰好可以利用好这一点,但是我们现在的对AR就像几年前面对VR一样,有一大堆不同的厂商、一大堆不同的API。所以还是那个事儿,我私心的愿望就是OpenXR能出来,所有人都接受它,这就能省掉我很多事儿,但更重要的当然还是让我们所有人都能顺畅地共享一个统一平台带来的共赢。

Yuval Boger:对硬件方面的支持到底进展到哪里了呢?听起来你提到了手机和平板类的设备,但是可穿戴设备呢?就想前面说的,谷歌眼镜这一类的。还是说CPU性能不够,做不了?

Nick Whiting:我觉得这取决于应用的需要。谷歌眼镜这个平台确实比较受限制,但是确实也能提供很多很好的、很有用的功能。我只是不太确定,对于一个显示空间这么小的应用,它真的有必要用上虚幻4这么强的引擎吗?但是如果未来,眼镜和技术的进步让形式上的限制越来越小,我想……不论何时,当你需要在现实世界中增强视觉效果,需要高品质的显示和追踪等等,那就是虚幻引擎能够大展身手的领域。

我们长久以来一直在追求照片现实主义这个级别的渲染效果,那么,当你需要在现实世界中显示一个人造的、足以乱真的图像,没有比这更用得上我们的渲染技术的地方了。这里面有非常多的微妙的技术细节,你怎么匹配光照和阴影,怎么处理物体的接触面以及环境的交叉,等等等等,而这些正是虚幻引擎最擅长的地方。所以说任何东西,如果有将虚拟物体的现实效果提升到极接近现实效果的这个需要,那么这就正是我们的强项。

《机械重装》(Robo Recall)反哺引擎开发

Yuval Boger:你们之前发布了《机械重装》(Robo Recall),我想你们部门应该是在其中做了很多工作。

Nick Whiting:是的。

Yuval Boger:能不能谈谈你们在当中遇到的主要的挑战呢?

Nick Whiting:在做《机械重装》之前,我们已经做了很多技术demo一类的东西,那时我们的团队还很小。开始几周,团队只有我和另一个设计师两个人一起做一个demo,这就是我们最初的VR作品,那时还只是让玩家在一个城堡边上走来走去。接下来是《沙发骑士》(Couch Knights),可以两个人玩了;再然后是《决战》(Showdown),在里面可以慢动作通过一个动作场景;然后终于到了《子弹列车》(Bullet Train),我们终于能在动作控制器输入的支持下做真正的游戏了。

到了《机械重装》,很幸运的,Oculus给了我们一些资金来建立起一个小团队,而且给了一年的时间制作。我们最开始问自己,“如果要做一个产品,做一个全面的VR体验,我们到底需要什么?引擎面临的痛点到底是什么?”当我们着手开始做,我们发现渲染就是我们面临的最大问题,我们的渲染器有点不合适了,虽然在其他应用场景、比如人类的渲染上它很好用,但现在我们追求的这个艺术风格,高度机械化,需要非常清晰锐利的图像,我们真的很需要一个升级的渲染器,好在上面用MSAA(Multi-Sample Anti-Aliasing,多重采样反锯齿)。

我们也确实这么做了。实际上《机械重装》最重要的一个成果就是我们部门第一次完成了一个真正的完整游戏产品,并且在接下来的几个月中不断优化,确定真正的游戏点到底在哪些地方。所有这些工作实际上最终都反哺了虚幻引擎4的开发,我们根据游戏反馈对引擎做的完善,最终向所有人开放。我们开发引擎的基本理念是我们要用它做出真正的内容,并且自己要实际地使用,才能真正地体会到产品的痛点,让产品越来越成熟,这样我们自身团队之外的人才能更好地使用。

Yuval Boger:这么说我觉得我已经知道我下一个问题的答案了,不过我还是问一下,如果现在你们要重做一遍《机械重装》,你会用Unity引擎还是虚幻引擎,为什么?

Nick Whiting:我会选虚幻引擎。并不是说我偏心或是怎样,是因为这里有一个优势是,我们当时只有两个写玩法的程序员,然后大部分的玩法代码本身也是用Blueprint写的,也就是虚幻引擎4本身使用的视觉编程语言。这样一来我们使用虚幻引擎就有一个很实在的好处,当写玩法的程序员陷入瓶颈的时候,本来是只有他们两个人自己想办法,但现在全团队的人都能参与进来帮忙。

我们的美术设计也会Blueprint,我们的动画也会Blueprint,那么这样一来,在玩法设计方面,我们就能集思广益。游戏里有一些特别闪光的VR互动和玩法经常都是其他人好玩想出来的,想出了一些好玩的点子,就自己加到游戏里,因为Blueprint在这点上很方便。这是我们能做出一些独特之处的重要原因。我们不仅是对自己引擎的图形能力、以及它对VR平台的支持非常自信,而且我们作为一个这么小的团队、这么多元化的团队,并没有太多来自程序方面的帮助,却能够完成一个完成度这么高的游戏,引擎在这方面帮助很大。

硬件厂商应致力于降低产品使用门槛

Yuval Boger:我们的访谈也快要到尾声了,那么我想问如果你们能对Oculus啊Valve啊Sensics谷歌啊这些硬件或者外设厂商有更大的影响力,你希望我们在接下来的一年半中更关注哪些方面?

Nick Whiting:哇,一年半?不过我认为当下最值得关注的是,如果我们真的想要开发消费市场,那么一定要让产品变得更加方便易用,门槛更低。我觉得目前来说现在的分辨率技术已经蛮不错了。我相信继续发展这方面的技术最终是会有回馈的,但是这不是关键,它不能让我们目前的消费市场有实质性的增长变化,不能使产品对消费者来说变得更为经济实惠。要说降低门槛、方便易用,我认为要达到这种水平:我妈都愿意买,而且到手之后能自己设置安装,都不需要给我打电话。不管达到这一点是要靠一体机、还是靠无线解决方案,总之我认为当下最重要的、能够扩大消费市场的要点应该是这个。