Lumin OS、SDK和开发者端口的解读.doc

Lumin OS、SDK和开发者端口的解读Magic Leap在本周终于在Magic Leaps Creator端口上发布了自己的Lumin SDK文件，我们也有机会了解到设备更多的功能，以及如何哪些软件是可以使用的。以下就是对Lumin OS、SDK和开发者端口的一些解读。Lumin OS 我们知道Magic Leap的操作系统被称作Lumin。这个系统是基于Linux和安卓开源项目所打造的。应用将会基于Magic Leap自己的Lumin Runtime引擎打造，同时在Lumin上运行。除了Lumin Runtime之外，寻常的3D引擎如Unity和UE4引擎也都可以用来开发Magic Leap内容。Magic Leap软件栈Magic Leap One软件栈的下一层级是OS服务层。在这一层,利用OS Core我们会进入更高层次。例如，输入管理、通信管理（蓝牙和Wi-Fi）以及电源管理等功能都在此进行处理。在这一层，Magic Leap也包含了该公司名为Perception的服务。这些子系统处理一些更复杂的输入，例如用户和环境感应，以及图形渲染管道，其中包括Magic Leap实现异步时间扭曲（ATW）。使用可移植操作系统接口（POSIX）API标准，平台API层作为开发人员与空间计算功能之间的看门人，具有用户设置权限系统。这一层还包括常用于Android OS中作为进程间的通信系统的Binder框架，允许应用程序相交互（HoloLens在这一点上尤其缺失这一功能）。Lumin Runtime引擎 目前，很多基于其他引擎打造的沉浸式应用都必须独立运行，但Lumin Runtime可以让应用在运行的同时，也能够进行交互，展示出一种“单一的、连续性的体验”。开发者可以获取13种平台上的API来打造不同的交互，包括场景图（用于确定空间中的坐标和等级）、碰撞物理效果、手势、实时立体计算技术（用于渲染物体）、控制、光影以及在现实世界中的遮蔽效果。这种单场景中多应用的形式，听上去和2016年的“Waking Up with Mixed Reality”的demo很相似。在某一时刻，我们现在知道的Windows计算机是由MS-DOS操作系统组成的，Windows是一个在操作系统之上运行的图形用户界面（GUI），因此GUI+可能是查看关于Lumin Runtime是什么的简单方法。但Lumin Runtime除了提供简单的GUI外，还提供了一些更重要的功能。跳出来看，Magic Leap One使用客户端/服务器模式，允许多个设备共享应用程序。根据文档中的内容，这看起来像是自动处理的。如果是这样，它将带来能控制基础元素共享或不共享的问题，这对于那些已经在HoloLens中开发出共享体验的人来说就像是一片新鲜空气一般。Lumin Runtime的其他基础元素：带有材质的3D模型和骨骼3D模型动画2D图片精灵动画用于空间计算的高保真空间化文本渲染2D和声场音频2D和立体视频刚体碰撞物理实时粒子特效输入事件和触觉控制手势语音识别时空间计算技术，用于渲染对象、照明、阴影和真实世界的遮挡看起来，Lumin Runtime旨在提供类似Unreal或Unity 那样的3D引擎所能提供的设施，包括诸如Lumin Editor和UI Toolkit等。也就是说，Lumin Runtime层也支持这两种引擎。Lumin Runtime应用可以平行运作，也可以协同工作，而Unreal和Unity应用只能够以独立的应用运行，因为它们会对设备有独立的控制。当然，它们在其他平台也是以这种形式运作的，因此不是什么新鲜事了。但开发者们肯定还是非常期待能够做出一些改变的。从这方面来看，Magic Leap的确有对Lumin OS和一系列软件做出深思熟虑的设计。但是要到我们真正拿到设备的的时候才能知晓能做和不能做的事。平台API SDK发布笔记中，包含了多款惊人的API。眼球追踪API能够用于确定用户注视点的方向、眼部的中央，还可以监测眨眼的动作。这一SDK同时支持硬件遮蔽，拥有一个交互界面来给平台提供深度信息。头部姿势 Magic Leap One（ML1）能够整合其一系列传感器所收集的数据，同时还有用户视觉上的观察。如果用户的视野被昏暗的环境或者被遮挡的相机所影响的话，ML1会自动启用陀螺仪追踪，直到系统重新收集足够的视觉数据。图像追踪 ML1可以持续的捕捉视觉数据来建造一个周围环境的地图，而且在回到之前已经建模的环境时，会自动识别并且给出之前的内容。所以在房间中玩追逐小机器人的游戏时，它们会停留在你之前看到过它们的地方。这项技术听上去和Magic Leap工程师此前发布的研究非常相似，使用了一对神经网络系统来给图像上确定“SLAM-ready”的点，可以用于追踪。具体形式如下图所示。手势 Lumin SDK支持8种不同的手势。微软HoloLens支持3种手势（可以通过Mixed Reality Toolkit实现第4种），而Meta 2可以实现7种不同的抓取手势。鉴于Magic Leap最近申请了一个翻译手语的专利，我们能够期待接下来还会在开发者平台上看到更多的手势识别功能。声场音频 就在上周，Magic Leap申请了一份立体声专利，听上去正是ML1上具备的声场音频功能。现在我们已经确定，公司这项独家的技术将会向开发者开放。基于声场音频技术的立体声方案或许会在不久之后就登陆Unity和UE4引擎，同时声场API也很快能够被原生C+应用和公司自己的Lumin Runtime引擎所调用。除此之外，Magic Leap也有计划支持更多的中间件，包括Wwise和FMOD Studio，大概在GDC结束之后就会实现。同时，开发者还可以将谷歌Resonance Audio项目的SDK进行调用。光照 Lumin OS能够实现环绕式光线追踪。应用可以对一个场景增加光线，但是不能在没有光的情况下渲染。尽管如此，开发者可以用明亮的色彩来对冲昏暗的色彩，来制造出昏暗的感觉。同时，由于物体不会投射阴影，开发者需要从上方照亮物体。Lumin同时支持虚拟物体的自我阴影。接近裁切平面 Magic Leap官方表示，距离用户一臂远的内容能够实现最佳的体验，同时也提醒开发者不要长时间将虚拟物体置于用户30厘米的范围之内。公司还鼓励开发者在用户过于接近虚拟物体的时候，让这些物体“逐渐消失”，而不是突然的让景象消失。总的来说，为Magic Leap进行开发对于习惯于开发Unity的的人来说并没有太大不同，只不过增加了一些额外的功能，比如眼球追踪。我们很期待开发者们能够用Lumin Runtime引擎做出来什么样的作品。