本文为爱就投金控TMT、FinTech项目经理、研究员 王思宇投稿作品

 

2011年5月成立至今未发布产品

2014年底,B轮融资由谷歌母公司Alphabet领投

2015年初,C轮融资完成,由阿里巴巴集团领投

将近20家世界级专业投资机构和战略投资方跟投

最新估值45亿美元

0

Magic Leap, Inc.

被《连线》杂志主编凯文·凯利认为有机会成为有史以来最巨大公司之一(“businesses like Magic Leap have an opportunity to become some of the largest companies ever created”)的Magic Leap,不仅至今未发布产品,甚至连第一款设备的发布日期至今未定。

目前只知道这个公司做的是增强现实(Augmented Reality, AR),他们自己叫混合现实(Mixed Reality, MR)。他们的黑科技叫光场技术,有可能彻底解决眩晕感问题,并在头戴式设备(Head Mount Display, HMD)的视场角等方面做出极大突破,给整个AR行业带来质的飞跃,变革人机交互的方式。目前Magic Leap有将近800名员工,超过150项专利,股东包括阿里巴巴、谷歌、摩根大通、摩根士丹利、华纳兄弟等。

本文是爱就投研究员对Magic Leap具体技术方案和产品的猜想,主要参照该公司专利文献分析得出。

1

图1,出自Planar waveguide apparatus with diffraction element(s) and system employing same

根据专利文献Planar waveguide apparatus with diffraction element(s) and system employing same,Magic Leap的设备可能将分为2大模块,一是头戴式设备或“眼镜”,作为前端交互,用来获取真实世界的数据和显示虚拟图像;二是投影与计算模块,主要用作后端计算,是光/图像的源头(Light / Image Source)。这样的设计可能主要出于产品实用和美观的考虑,相比微软HoloLens尽力缩减设备中各个组件尺寸的做法更容易取得效果。

2

图2,出自Planar waveguide apparatus with diffraction element(s) and system employing same

投影与计算模块整体可能与智能手机很类似,包含电池、CPU/GPU、RAM、4G、Wifi、蓝牙、SIM卡、GPS芯片、摄像头等常规装置,还有一部分投影系统和定制SLAM芯片,以实现增强现实的功能;“眼镜”模块则可以分为光学部分组件和传感部分组件,前者主要是光子光场芯片和扫描光纤显示装置,后者可能包含耳机、麦克风、摄像头、加速度传感器、陀螺仪、罗盘等。

下面依次分析光子光场芯片、光纤扫描显示,以及传感部分的功能。

光子光场芯片

3

图3,出自连线杂志(Wired)

图3中,Magic Leap的CEO Rony Abovitz右手拿着的“镜片”被称为光子光场芯片(Photonic Lightfield Chip),可能对应图2、图4和图5中序号1-7关联的部分;这是至今唯一被公开的设备元件。

4
图4,出自Planar waveguide apparatus with diffraction element(s) and system employing same
5
图5,出自Planar waveguide apparatus with diffraction element(s) and system employing same

根据这个专利文献,光子光场芯片是用来构建光场的。图4和图5中,序号1和6是分立的两个衍射光学元件(Diffractive Optical Element, DOE),先由序号6的DOE提取投影光,将其射入序号1的DOE,再由序号1的DOE将光转投入视网膜。

仅有两个DOEs还不能实现真实的光场,因为不足以适应变化着的波长,不能为投射不同的焦点而实时改变属性。Magic Leap将多个DOEs堆叠起来,成为可以适应不同波长和焦平面的更大的类透镜组件;单个DOE极其薄,与光的波长范围相同,所以叠加在一起不会太厚。

6
图6,出自How Magic Leap Works – From Field of View to GPU

图6中,通过开启和关闭DOEs不同的层,可以改变光到达人眼的路径,不同DOEs的层的组合产生不同的焦平面,从而使人眼在看图像时可以自由选择焦点。实际光子光场芯片可能含有比图6的具象中多得多的层数。

7
图7,出自Planar waveguide apparatus with diffraction element(s) and system employing same

这个专利文献中的FIG. 5C,即本文中的图7,对“眼镜”模块中光学部分工作原理也直观地做了描述:“当开启了组件中如序号2的首个DOE时,对于一个从如序号1的平面波导的基本或发射面看进来的观察者,可以产生一个光学观察距离为1米的图像,如图7中序号23的焦点。当组件中第二个如序号2的DOE被开启时,对于一个从如序号1的平面波导的基本或发射面看进来的观察者,可以产生一个光学观察距离为1.25米的图像,如图7中序号13的焦点(a first DOE 2 in the set, when switched ON, may produce an image at an optical viewing distance of 1 meter (e.g., focal point 23 in FIG. 5C) for a viewer looking into the primary or emission face 112a of the planar waveguide 1. A second DOE 2 in the set, when switched ON, may produce an image at an optical viewing distance of 1.25 meters (e.g., focal point 13 in FIG. 5C) for a viewer looking into the primary or emission face of 112a the planar waveguide 1)”。

8
图8,出自YouTube: Magic Leap Demo

人的双眼通过对焦可以改变所观察物体的锐度(Sharpness)。当双眼对准(聚焦于)视野中某个或某些物体时,处于这个距离平面的物体就看得清晰,其它物体就模糊。图8中的截图出自Magic Leap的Demo视频,当透过其设备拍摄的摄像机聚焦人物时,地球就是虚的,当聚焦地球时,人物就是虚的,这就是景深效果。人眼借助景深可以感知视野中不同物体的距离,在清晰地看到一个物体时,如果另一个模糊,这两个物体之间就有一定距离。

头戴式设备显示三维图像的技术方案分为两种,以HoloLens为代表的“立体”(Stereoscopic)和以Magic Leap为代表的光场(Light Field)。“立体”技术的主要问题是眩晕感,这主要由其不支持自主选择聚焦,无法实现景深效果导致;在情境下距离用户近而尺寸大的物体和距离远而尺寸小的物体,用户仍看得同样清晰,远的物体和近的物体都是实的;近大远小与近实远虚或近虚远实,这两种人眼感知距离的机制产生了冲突,就带给用户视觉的不适(Visual Discomfort)。如果再因为帧率不够导致虚拟图像显示延迟,长时间佩戴采用“立体”技术的HMD会有严重的眩晕感。

HoloLens的成像平面中,每一个像素包含的到自己所有方向的光的信息,都叠加在了这个像素点上,所以其只是二维显示器;另外两个维度,即到这个像素的光的方向,则是损失的。Magic Leap 是向视网膜直接投射整个四维光场,人们通过 Magic Leap看到的物体,理论上无法区分是虚拟物体还是现实物体。

光纤扫描显示

光纤扫描显示(Fiber Scanned Display, FSD)是一种全新的显示技术,未在已有消费电子产品中应用过。在2010年的论文Near-to-Eye Display using Scanning Fiber Display Engine和2014年1月提交申请的专利Ultra-high resolution scanning fiber display中,两篇文献的主要作者,Magic Leap联合创始人&首席科学家Brian Schowengerdt详细描述了FSD的工作原理。

9
图9,出自VRWiki: Projection device

图9中的扫描光纤投影仪直径约为1毫米,长约9毫米,主要包含压电致动器(Piezoelectric actuator)、震动单模光纤(Vibrating singlemode optical fiber)和投影镜片(Projection Lenses)。Brian Schowengerdt在论文中写道:

“图像的创建是通过使光纤的尖端在轴的两侧来回震动,扫描已调制光来实现的。扫描过程中,耦合的光进入单模光纤的相反端,并且被转接至光纤的尖端(The image is created by vibrating the tip of an optical fiber to scan modulated light in two axes. Light is coupled into the opposite end of the singlemode optical fiber and relayed to the tip for scanning)”。

单从视觉上,头戴式设备提供的AR体验至少由这些参数影响或决定:帧率(Frame Rate)、分辨率(Resolution)、像素间距(Pixel Pitch)、视场角(Field of View, FOV),以及景深(Depth of Field, DOF)效果。其中,光子光场芯片实现了景深效果,让人们可以自主选择聚焦于虚拟图像中的哪一点,光纤扫描显示技术则可使Magic Leap的产品至少在其余4个性能参数上远超竞品。

根据专利文献Ultra-high resolution scanning fiber display,当光纤扫描频率在11.5千赫兹时,可以实现30帧的帧率,即每秒播放30帧,而当扫描频率高达24千赫兹时,可以在相同的分辨率下实现60帧的帧率;可以通过增加或减少扫描的频率和幅度来调整帧率、分辨率和扫描角度,在每秒15帧到60帧的范围内,可以实现多种分辨率,扫描角度则可高达120°。

10
图10,出自Ultra-high resolution scanning fiber display

这个专利文献中的FIG. 2,即本文中的图10,对光纤扫描显示做了形象的描述:“在图10的具象中,一个如序号4直径为1毫米,长7毫米的FSD,扫描光纤显示的图像尺寸与如序号8的10美分硬币差不多(in the range of 1 mm diameter x 7 mm long, as shown in the embodiment of Figure 2, wherein an FSD 4 is shown relative to the size of a U.S. 10 cent coin 8)。

11
图11,出自Ultra-high resolution scanning fiber display

接下来就如图11,Magic Leap将多个扫描光纤显示装置紧密排列在一起,以增加显示尺寸。图11中,11 × 7个FSDs构成一个紧凑六边形晶格(Hexagonal Lattice)阵列,可以在12毫米对角线的屏幕上提供约4375 × 2300的分辨率,约1000万像素。

分辨率、像素间距和视场角,是3个相互影响和制约的参数。像素间距代表两个相邻像素的中心之间的距离,是像素密度的一种衡量。显示尺寸相同,像素间距越小,图像容纳的像素就越多,分辨率就越高。光纤扫描显示技术可以实现0.6微米的像素间距,虽然不一定实际用到;而已有的硅基液晶和LED在这方面被限制在约4 – 5微米,Magic Leap具有压倒性优势。

最后分析视场角。人类视觉系统的视场角大约是水平200°,垂直130°。观察距离不变,视场角越大,显示尺寸就越大。Magic Leap的野心至少是水平120°、垂直80°的视场角,这是专利中唯一没有明确实现的参数;仅表明支持超高分辨率的显示器,在头戴式或其它近眼显示设备中支持大视场角。专利文献的背景部分写道:

“大约50-60弧秒的角分辨率是20 / 20视敏度表现的阈值,并且角分辨率取决于微显示器的像素密度(An angular resolution of about 50-60 arc-seconds is a threshold for 20/20 visual acuity performance, and it is determined by the pixel density of the microdisplay)”。

注:“20 / 20”代表正常视力,能够看清距离20英尺的东西。

“为最佳匹配人类视觉系统的平均能力,头戴式设备应跨越水平40°、垂直40°的视场角来提供20 / 20的视敏度,所以在50弧秒的角分辨率下,就等于大约800万像素。如果要拓展到理想的水平120°、垂直80°视场角,则需要接近5000万像素(To best match the capabilities of the average human visual system, an HMD should provide 20/20 visual acuity over a 40° by 40° FOV, so at an angular resolution of 50 arc-seconds this equates to about 8 megapixels (Mpx). To increase this to a desired 120° by 80° FOV would require nearly 50 Mpx)”。

注:角分辨率 = 像素数量 / 视场角;1° = 3600弧秒,50弧秒的角分辨率即视角内1°能容纳72像素;按照水平120°、垂直80°视场角计算,需要8640 × 5760的分辨率,确实接近5000万像素。

值得一提的是,这个专利是在论文发表近4年后提交的,论文中,扫描光纤显示装置的长度约为9毫米,专利文献中缩短到了7毫米。有理由认为,Magic Leap将推出的产品在很多性能参数上可能还要优于专利中的描述。

传感部分功能

前文提到,Magic Leap设备“眼镜”模块的传感部分组件可能包含耳机、麦克风、摄像头、加速度传感器、陀螺仪、罗盘等。其中,摄像头是最重要的装置,与其它传感器一起向投影与计算模块提供真实世界的数据,包括现实环境和用户指令。

投影与计算模块可能包含很多智能手机的常规装置,以及定制SLAM芯片,还有一部分投影系统。由SLAM芯片和其它芯片一起处理数据,计算生成的虚拟场景,并通过“眼镜”模块的光学部分实现与现实场景的叠加,即增强现实。

SLAM代表同步定位与地图构建(Simultaneous Localization and Mapping, SLAM),在这方面,HoloLens、Magic Leap及更多设备的技术路线基本一样。SLAM是人工智能与机器人领域重要的基础技术,尤其在自动驾驶和无人机方面是核心技术。SLAM算法使机器人可以自主定位和导航,从未知环境的未知位置开始,同步进行移动、定位与增量式地图构建。其中的定位需要基于多种传感器共同完成。

12
图12,出自Planar waveguide apparatus with diffraction element(s) and system employing same

图12是Magic Leap设备“眼镜”模块左右镜腿的元件,上半部分代表左边镜腿,下半部分代表右边镜腿。其中的摄像头可以分为3类,一是用作日常拍摄的相机;二是拍摄周围真实世界的传感器,称为World Camera;三是拍摄人眼的传感器,称为Eye Camera。根据专利中的描述,第一种日常拍摄相机并不能确定是否在“眼镜”模块上;第二种和第三种可以确定是在“眼镜”模块上。

World Camera可能不止两台,而是很多台,其通过拍摄真实世界,可以实现并且可能需要的功能,至少包括场景物体识别(Scenic Object Recognition)、三维扫描(3D Scanning)、物体追踪(Object Tracking)、人体追踪(Human Tracking)、手势识别(Gesture Recognition),甚至情感识别(Emotion Recognition)。

Eye Camera通过拍摄人眼获取焦点和视线方向,可以实现对当前未被观察,未处于用户视线中的显示区域暂不渲染,从而减少物体渲染和场景渲染的计算量。

另外,Magic Leap在深度学习(Deep Learning)方面可能也有很强的能力,因为在增强现实场景下的人机交互需要各种类型的识别算法。

13
图13,出自YouTube: Magic Leap Demo

根据Magic Leap的Demo视频,从图8、图13这几张截图中可以看出,当透过其设备拍摄的摄像机移动时,虚拟太阳系依然在原来的位置,只是其被观察的角度变了。要实现这样的效果,Magic Leap的产品需要实时感知观察者的精确位置和观察方向,从而计算出应该如何显示虚拟图像。

图13中,太阳在桌面上还有反光,要生成这样的图像,还需要知道桌子的三维结构、表面材质等很多信息,才能计算出虚拟的反光的形状、颜色等。

14
图14,出自YouTube: Magic Leap Demo

图14中,桌子下面的虚拟机器人的一部分被桌腿挡住了,要实现这个效果,对SLAM要求非常高,需要根据虚拟图像被观察的精确角度,计算出哪里应该被遮挡;其中的难点是做到实时的感知计算,从而在足够高帧率的配合下,让用户感觉不到显示延迟,这样才可能解决眩晕感问题。

以上对Magic Leap专利技术的分析只是一家之言,期待他们早日推出产品,揭晓技术方案。

战略与商业模式

与黑科技同样值得期待的是,这个获得谷歌和阿里巴巴投资的公司可能的战略规划:头戴式设备将运行Android系统还是自己开发新系统?走Android那样相对开放的路线,还是像iOS那样有一定限制?除了HMD设备,硬件产品的形态将怎样扩展?占有足够多的用户时间和数据后,在人工智能领域如何做为?

15
图15,出自YouTube: Magic Leap Demo
16
图16,出自YouTube: Magic Leap Demo

图15、图16是Magic Leap的Demo视频的截图,展示了戴上其设备进行购物和游戏的体验。

比起技术,猜测其商业模式要容易得多。Magic Leap成熟期的商业模式可能会对标苹果,即基于体验极佳的头戴式设备构建类似 iOS的生态系统,并且形成良性循环。

起步期,硬件销售是公司最主要的收入来源,开发者和消费电子产品发烧友是第一批用户;发展期,达到百万级粘性用户后,就可以通过自己开发的基础软件和应用软件来收取费用;成熟期,公司50%以上的收入可能来自软件,包括为C端用户提供的应用软件服务和为合作伙伴提供的开发平台。

参考文献:

[1] Wired: The Untold Story of Magic Leap, the World’s Most Secretive Startup

[2] YouTube: Magic Leap Demo

[3] Magic Leap Patent: Planar waveguide apparatus with diffraction element(s) and system employing same

[4] 分析文章How Magic Leap Works – From Field of View to GPU

[5] Magic Leap Patent: Ultra-high resolution scanning fiber display

[6] 论文Near-to-Eye Display using Scanning Fiber Display Engine

[7] VRWiki: Projection device

[8] 莫尼塔:AR 产业演进速度研究