下一代空间计算：AR与VR创新理论与实践

近年来，尽管AR与VR技术火热流行，但整个空间计算技术仍旧处在主流应用的最前沿地带。现今，渴望涉足这一领域的开发者、艺术家与设计师们能够获取到的专业指导甚少。在本书中，Erin Pangilinan、Steve Lukas与Vasanth Mohan研究了整条AR/VR技术开发流水线，并提供了实践教程来帮助你学习与磨练技能。

通过循序渐进的教程，以理论为基础，以行业应用案例为背景， 你将学会如何构建实际的应用程序与体验。在本书的每一篇章中，都会有行业专家加入作者行列，包括Timoni West、Victor Prisacariu、Nicolas Meuleau，悉心讲解空间计算背后的技术内幕。本书涵盖三大话题领域：

艺术设计：探索空间计算与设计交互、以人为本的交互与感官设计，以及数字艺术内容创作工具。

技术开发：研究ARKit、ARCore与基于空间映射的系统之间的差异；学习在头戴式显示设备上进行跨平台开发。

应用案例：理解数据与机器学习可视化以及AI技术是如何运用在空间计算、教育培训、体育娱乐、医疗保健、以及其它行业应用之中的。

本书以基本概念、理论原理为主，以行业应用案例为辅，介绍空间计算中的交互设计、艺术设计、计算机视觉技术、AR/VR 开发框架、跨平台应用开发技术、机器学习与数据可视化、人工智能等领域的知识图谱，并展示了空间计算在医疗保健、体育娱乐、教育培训等行业的实际应用案例。本书提供了对空间计算的庞大知识体系的广阔概览。本书适合那些在技术开发、艺术设计、产品策划方面具有一定经验的读者，可作为他们入门空间计算领域的指引之书 ；也适合那些在空间计算领域已有一定实践经验的从业者，作为梳理知识体系与开拓创新思路之用。

Erin Pangilinan：首席作者，设计师兼软件工程师，创业顾问。2017年她被选为旧金山大学数据研究所深度学习项目的多元化研究员。Steve Lukas：联席作者，Across Realities联合创始人，曾为AR与VR企业领域的风险投资者。他拥有5年以上的行业经验，包括在高通与Magic Leap任职。Vasanth Mohan：联席作者，FusedVR创始人，Udacity的“VR开发者纳米学位（VR Developer Nanodegree）”课程开发者。

本书的译者是来自腾讯公司的4位高级工程师，在AR&VR、实时渲染、音视频处理方面有着多年的从业经验，在工作上与腾讯优图实验室、光影研究室有长期合作。
柯灵杰：腾讯高级工程师，代码委员会委员，腾讯学院认证讲师，动态化框架中台及发布器技术中台子项目组PMC、多项国内及国际技术发明专利的发明人、担任过多个全球开发这大会讲师。
赵桢阳：腾讯高级工程师，中科大硕士，资深从业者，在AR&VR方面有多年经验，对三维变换有深入的理解。
戴威：腾讯高级工程师，资深从业者，在AR&VR方面有多年经验，对跨平台AR&VR（尤其是移动端）有多年积累。
夏胜飞：腾讯高级工程师，资深从业者，在AR&VR方面有多年经验，擅长音视频处理，渲染效果优化。

序言.xv
前言xvii
第 1 部分　跨越数字和现实的设计与艺术
第 1 章　人类与计算机的交互3
常用术语 ..3
概述 4
历代的人机交互模态 ：20 世纪之前 ..4
历代的人机交互模态 ：第二次世界大战期间 6
历代的人机交互模态 ：第二次世界大战之后 7
历代的人机交互模态 ：个人计算机崛起的时代 10
历代的人机交互模态 ：计算机微型化的时代 . 11
为何要回顾这些历史 .. 13
常见的 HCI 模式 . 13
新的人机交互模态 18
空间计算设备的人机交互模态现状 . 19
沉浸式计算系统当前所用的控制器 . 19
身体追踪技术 21
关于手追踪和手势识别的注记 .. 22
下一代语音输入、手势输入和硬件输入 . 22
第 2 章　为感官而设计，不要为设备而设计. 26
展望未来 26
感知技术概览 . 27
我们为谁打造这样的未来 . 29
女性在 AI 中扮演的角色 . 32
感官设计 33
感官设计概述 33
五项感官设计原则 35
1. 直觉体验是多感官的 35
2. 3D 将会触手可及 .. 36
3. 设计要自然而符合物理原理. 37
4. 设计无法完全可控 37
5. 释放空间协作的力量 38
Adobe 的 AR 故事. 38
结语 . 39
第 2 部分　扩展现实如何改变数字艺术
第 3 章　VR 艺术. .43
一种更自然的 3D 艺术创作方式 43
VR 动画 . 49
第 4 章　3D 艺术优化..52
概述 . 52
建议 53
理想的解决方案 .. 54
拓扑结构 . 55
烘焙 58
绘制调用 63
使用 VR 工具进行 3D 艺术创作 63
使用现成的 3D 模型与重新制作 64
结语 . 64
第 3 部分　硬件、SLAM、追踪
第 5 章　计算机视觉如何让 AR 成为可能67
我们是谁 67
AR 简史 . 68
为何以及如何选择 AR 平台 70
作为开发者，我应该选择哪个平台，为何要如此选择 .. 70
AR 效果具有不确定性 . 70
软硬件集成. 72
光学校准 . 73
惯性校准 . 74
追踪技术的未来展望 . 76
AR 计算机视觉技术的未来展望 . 78
地图 . 80
多人 AR 的工作原理 . 84
最具挑战性的部分 . 85
重定位的工作原理 . 86
AR 中重定位的研究现状 87
重定位问题会有消费级的解决方案吗.. 88
难道谷歌公司或苹果公司无法给出消费级的解决方案吗 .. 89
重定位不等于多人 AR . 90
当前 App 的重定位实际是怎么做的 . 91
AR 平台 . 94
苹果的 ARKit 94
解密一些谜团 95
ARCore 是不是轻量级的 Tango .. 96
应该开始基于 ARCore 构建 AR 应用吗 .. 98
Tango、HoloLens、Vuforia 以及其他 AR 平台 .. 98
其他开发建议 . 99
光照 99
多人 AR — 到底难在何处 . 100
用户通过 AR 进行社交活动 101
AR 应用如何连接现实世界并确定自身位置 .. 101
AR 应用如何理解现实世界的事物并与之连接 . 102
AR 云 103
我所想象的 AR 云 104
AR 云有多重要 . 104
AR 云到底是什么 . 104
为什么媒体对 ARKit 和 ARCore“不感冒” 105
构建出色的 AR 应用还缺少什么 . 105
今天的移动云能否胜任这项工作 . 106
离开 AR 云，ARKit/ARCore 是否毫无用处 .. 106
AR 云的黎明 .. 106
更大的图景 — 隐私数据和 AR 云数据 .. 108
术语表 111
第 4 部分　创建跨平台的 VR/AR 应用
第 6 章　VR/AR 跨平台方法论115
为什么需要跨平台 . 115
游戏引擎的作用 .. 117
理解 3D 图形 118
虚拟相机 .. 118
自由度 119
游戏设计的可移植性教程 .. 121
简化控制器的输入 . 123
开发步骤 1 ：设计基本界面 123
开发步骤 2 ：平台集成 .. 125
总结 .. 128
第 7 章　VRTK ：社区开源框架..130
什么是 VRTK，为什么大家会使用 VRTK 130
VRTK 的历史 131
SteamVR Unity Toolkit 的诞生 131
VRTK v4 . 133
VRTK 的未来 133
VRTK 的成功 134
开始使用 VRTK v4 . 135
第 8 章　三项 VR/AR 最佳开发实践..140
VR/AR 开发的难度大 .. 140
处理移动 . 141
VR 中的移动机制 . 142
AR 中的移动机制 . 147
有效地利用音效 .. 149
VR 中的音效 .. 150
AR 中的音效 .. 152
常见的交互范式 .. 153
VR 背包系统 .. 153
AR 射线检测 .. 156
结语 .. 158
第 5 部分　增强数据表示 ：空间计算中的数据可视化与人工智能
第 9 章　数据与机器学习可视化在空间计算中的开发与设计.161
概述 .. 161
理解数据的可视化 . 162
空间计算中数据与机器学习的可视化法则 163
为什么数据与机器学习的可视化能在空间计算中发挥作用 . 164
数据可视化设计随着 XR 的出现而发展 .. 164
在 XR 中呈现 2D 数据与 3D 数据 166
空间计算中的 2D 数据可视化 VS 3D 数据可视化 166
空间计算中的数据可视化交互 167
动画 .. 168
失败的数据可视化设计 169
良好的数据可视化设计能够优化 3D 空间 . 169
“节省时间感觉就像一切变得简单了” . 170
数据表示、信息图表与交互 . 170
什么是数据可视化 .. 171
数据可视化与大数据或机器学习可视化之间的区别 171
如何创建数据可视化 ：数据可视化的构建流程 . 172
WebXR ：在 Web 端构建数据可视化 172
数据可视化在 XR 中遭遇的挑战 173
数据可视化的行业案例 174
3D 重建与直接操作真实数据 ：XR 中的解剖结构 176
近距离了解 Glass Brain. 176
TVA Surg 医学成像 VR 模块 .. 177
人人都能做数据可视化 ：XR 中的开源数据可视化 . 177
生物大分子数据的可视化 179
实践教程 ：如何在空间计算中创建数据可视化 . 179
如何创建数据可视化 ：资源 . 181
结语 .. 182
参考资料 . 182
资源 .. 183
数据可视化工具 184
机器学习可视化工具 .. 184
数据新闻的可视化 .. 184
术语表 .. 184
第 10 章　AI 角色与行为..186
概述 .. 186
行为 .. 189
现状 ：响应式 AI. 191
适应性 192
复杂性与普遍性 193
可行性 193
赋予系统更高的智能 ：慎思式 AI . 194
机器学习 . 200
强化学习 .. 201
深度强化学习 . 202
模仿学习 .. 203
自动规划与机器学习相结合 .. 204
应用 . 204
结语 .. 205
参考资料 . 206
第 6 部分　体验现实的应用案例
第 11 章　VR 与 AR 医疗保健生态系统213
VR/AR 医疗保健技术应用设计 .. 214
标准用户体验并不直观 215
布置安定的环境 216
便利性 216
指导案例 ：帕金森综合征项目 Insight . 216
Insight 的做法 217
Insight 的构建 217
企业 .. 221
医疗规划与指导 222
与医疗教育相关的体验 . 222
与患者相关的体验 .. 224
主动式医疗保健 226
前沿学术机构的研究案例 .. 226
第 12 章　体育爱好者的 XR 体验231
概述 .. 231
第 1 部分 ：体育 AR 与 VR 的五大关键法则 234
没有绝对的实时 235
第 2 部分 ：体育领域产品体验的进一步发展 .. 238
第 3 部分 ：打造未来 240
所有权 243
忠告 . 245
结语 .. 246
第 13 章　VR 企业培训案例. 247
概述 ：企业培训的重要性 .. 247
VR 培训有用吗 248
案例 ：洪水屋培训 . 250
VR 培训适合什么场景？“RIDE”准则 253
什么是良好的 VR 培训 254
3D 全景视频 . 255
3D 全景视频的优势. 256
3D 全景视频面临的挑战 .. 256
3D 全景视频的交互. 256
案例 ：工厂车间培训 260
叙事的重要性 .. 261
案例 ：商店反抢劫应急培训 . 261
XR 培训的未来 ：超越 3D 全景视频 263
计算机图形.. 263
案例 ：职场软技能培训 263
展望 ：摄影测量技术 265
展望 ：光场 266
展望 ：AR 培训 266
展望 ：语音识别 .. 267
展望 ：最理想的培训体验 .. 267
参考资料 . 268
后记..269
关于作者..271
关于封面..274

序言
在 2016 年的“科技中的设计”专题报告（2016 Design In Tech Report）中，我提到了我的前老板——麻省理工学院多媒体实验室创始人 Nicholas Negroponte 于 1993 年 11 月在《连线》（Wired）杂志上发表的一篇关于 VR 的文章。Nicholas 以他独特的方式写道 ：
行业新人们误以为 VR（Virtual Reality）是一种全新的概念，因为各家媒体最近才开始关注 VR。然而它并不算新鲜，25 年前 Ivan Sutherland 已在 ARPA 的支持下开发出第一款令人惊奇而先进的 VR 系统。行业资深人士或许对此并不感到惊讶，因为 Ivan 在计算机科学领域里出过太多的好主意。现在，我们将有机会触及 Ivan 的想法。有家公司，其名字我现在略去不提，它不久之后将推出一款 VR 显示系统，其零部件的成本还不到 25 美元。
停下来仔细想想，这篇文章在 1993 年是如何写出来的，当你意识到这是 25 年前时，估计大脑会停顿一下。再来看 Negroponte，作为一名杰出的思想领袖与投资人，他是如何嘲讽一家自己曾经投资过的号称能够颠覆未来的创业公司的。在 21 世纪的硅谷，类似的弄潮者们，大家是否觉得有些熟悉？
不同于近期杰出的技术权威们，我发现 Negroponte 的大部分预言都成真了，甚至包括他那最古怪、最大胆的预言。例如，如今真的有成本低于 25 美元的 VR 系统吗？当然，除非你认为将智能手机插到一个纸板做的穿戴式设备中也算 VR 系统，这的确很容易做到25 美元以下。显然，Negroponte 的自嘲之举应验了。
如果你关注的是真正的空间计算技术，那么这本关于 AR（Augmented Reality，增强现实）、VR（Virtual Reality，虚拟现实）、MR（Mixed Reality，混合现实）与 XR（eXtended Reality，扩展现实）的书就很适合你阅读。它涵盖了所有的专业与消费方式，用 William Gibson 的说法就是破解了“赛博空间”。对于我们这些俭省的人来说，幸运的是，许多新技术是完全免费的 ；因为它们是开源的，并且很容易获得。因此，现在是从事空间计算的最佳时代。
当你深入阅读本书的时候，就会发现本书的作者是一个跨国专家团队，每一章的作者互相接力，他们一起将空间计算变为一种真正共享的技术。他们对 AR、VR、MR、XR 技术社区之外的人们分享知识的热情，仿佛在告诉我们，人类伟大技术的诞生，是因为伟人选择与所有人一起共创未来。
很少有一本书能涵盖如此广泛的话题 ：女性在 AI 中扮演的角色、最新的计算机视觉追踪系统、如何“烘焙”优化后的无 N-gon 的 3D 模型、“AR 云”梦想、虚拟角色的自主行为、体育与医疗保健行业的应用，以及通过员工培训以大幅提高企业的管理水平。通过内容的广度与深度，我们看到了参与本书的技术专家与设计师们为我们开启的一个广
阔的 XR 世界。
受到本书内容的启发，我回忆起自己与 VR 的第一次邂逅。那是在 20 世纪 80 年代，当时我在麻省理工学院读本科，有机会试用 VPL 公司的技术数据手套。这是一种带有光纤电缆的黑色的紧肤丝绒手套，光线可以从手指的关节处射出，由此可以捕捉信号并检测到手掌抓握的动作。我那时惊奇地发现，屏幕中的虚拟手会向我打招呼，以回应我的挥手。
当我追溯数据手套的历史时，发现了 VPL 公司开发的一款头戴式显示设备，叫作“Eye Phone”。读到这个名字时，我不禁一笑；因为“Eye Phone”恰巧与几十年后的 iPhone 同音，只是拼写不同而已。虽然我们知道 iPhone 不是头戴式设备，但它却占用了我们眼睛的大量时间。
这是巧合吗？也许是的。但通过各章的参考资料清单就能发现，所有内容之间都存在着某种关联。这就是为什么保持一种开放式的社区化的态度是解决难题的最快途径。围绕难题集思广益，往往能激发出意想不到的创新。要想实现空间计算的宏伟蓝图，需要更为广泛的艺术、科学与商业团体的协同参与，这远比本书中所涉及的要多。本书所带来的不只是空间计算技术的基础知识，它还能使我们加速迈向未来。
我确信，在未来的几十年里，那些在技术上难以实现但并非不可实现的概念（如 AR 云），将会变得司空见惯，只是有可能会换个称谓罢了。而你很有可能就是其中某一概念的实现者。因此，我强烈建议你联系本书的作者，发挥你的知识技能，加入他们的行列之中。
扬帆起航吧 !
John Maeda
Automattic 包容性设计部主管
美国马萨诸塞州列克星敦市

前言
术语说明
鉴于本书涉及新兴领域，根据每章作者的写作偏好，以及该章所讨论的课题，你将看到某些具有相同含义的术语在本书中交替使用，如扩展现实及其英文简写 XR 或 X。随着行业标准的不断发展，关于专业术语的争论还在继续。每一位作者均会根据自己的观点与理解去使用术语，你可以在各章中找到术语的定义。
为何写作本书
在 2017 年的谷歌 I/O 大会上，谷歌虚拟现实副总裁 Clay Bavor 在其主题演讲中指出，未来的开发者与技术的消费者可以畅想一种全新的人类体验技术，其中任何人都可以身临其境地体验任何地方，通过一个即时动作或语音指令让任何事物出现在眼前。在那次大会后不久，我们产生了写作本书的想法。我们处于空间计算领域的前沿，空间计算在本书中代指各种模式的“虚拟现实连续体”，这一概念最早在 1994 年 Paul Milgram 与Fumio Kishino 的文章 A Taxonomy of Mixed Reality Visual Displays 中提出，其中包括虚拟现实（VR）、增强现实（AR）、扩展现实（XR），以及混合现实（MR）。
2019 年，我们意识到空间计算若想在未来取得成功，关键在于该领域知识的开源共建。未来掌握在经验丰富的行业老手以及年轻进取的从事各类学科工作的专业人士手中。正因如此，通过行业标准的发展与技术栈的创新，促进空间计算的蓬勃发展，是一项具有挑战性的工作。每天都在产生新的术语与技术规范，而去除其中的糟粕需要依靠教育与清晰有效的交流。通过分享我们对空间计算的开发与使用方式的理解，我们希望推动这一媒体向前发展，避免重蹈覆辙，并将 VR 带入主流市场。
向全行业的从业者们传播充足的知识显得迫在眉睫。本书所面向的人群包括技术人员、创新分享者、艺术家，以及商业营销专员，包括但不限于硬件工程师、全栈软件工程师、设计师（包含工业设计、计算机设计、传统平面设计、产品设计、用户体验与用户界面设计等领域）、数据科学家 / 机器学习工程师、2D 与 3D 艺术家、图形设计师、建模师、画家、建筑师、产品经理，以及导演与演员等。
通过对教育、软件工程设计，以及投资等方面的考察与经验总结，我们发现许多进入空间计算领域的人士存在一定程度的知识空白。对于新入行的空间计算领域的软件工程师、艺术家、设计师、商业营销专员来说，有时这是不可避免的。过去在许多领域里都存在着技术与教育的短板。本书试图改变这一现状，让读者了解空间计算的发展历程、运作方式，以及如何为这种媒体创造新的应用体验。鉴于空间计算中各领域的标准仍处于发展阶段，学习大量的软硬件高级知识（尤其是光学、追踪、设计，以及最佳开发实践，包括在各种头戴式显示设备上进行跨平台开发）对任何人来说都是一种挑战。面对庞大的知识体系，很多人会感到不知所措。这对于软硬件技术栈单一的开发者来说是一项浩大的工程。由于从理论框架到开发实际应用的各种学术知识与资料的匮乏，甚至连简单实用的教程都缺少，因此，我们决定将各学科领袖们的相关文章编纂在一起。其理论材料丰富、浓缩且便于理解，对于我们开启空间计算之旅有实际意义。
由于该领域的教育缺失，一些从业者在硬件、计算机视觉算法以及基本设计原理方面缺乏扎实的基础，因此，导致行业中充斥着一系列低质量的应用体验，最终将损害所有人的利益。由于糟糕的应用程序初体验，有时是由于技术本身的限制或是对技术设计的理解不足而导致的可用性差与舒适度低，因此，致使用户最终对空间计算萌生抵触之意。
我们知道发展技术标准以及探索最佳设计实践都需要时间，正如许多业内人士所说的那样，技术、研究、试验是一个循环往复的过程。我们分享一些初级、中级知识（不包括“如何安装 Unity”这样的入门问题），希望可以让其他从业者拥有一定的基础知识进入空间计算行业，最终帮助整个行业创造出更多有趣与成功的应用。
要熟悉空间计算领域，新入行的从业者通常需要阅读大量的文献资料来获得理论与实践基础知识，以提升自身的知识储备、技能与开发素养。然而我们发现，面对这一学习过程，这些新入行的从业者们往往会望而却步，但同时他们又渴望获得更多知识来帮助自己创造成功的空间计算应用体验。另外，这一领域的大多数学术理论都过于深奥。鉴于我们在教育、风险投资与软件开发方面的独特背景，我们相信，携手行业与学术界的领袖，可以弥合这一鸿沟。
我们希望读者能够对VR与AR有一个基本的认识。我们为软件工程师提供了丰富的教程，以理论与行业案例为背景，介绍了如何构建实际的应用体验。在此，初入空间计算领域的新手能够学到完整的软件开发流程。我们提供了丰富的基础资料，以技术与创新为切入点，以帮助读者了解学术前沿与行业专家，并更全面地理解空间计算 ；同时还提供了动手实践环节，以打磨读者的技能。
空间计算技术是未来的希望，但很少有人精通它的工作原理与发展方向。它是人类计算技术的下一发展阶段，其形式能带给人更深的参与度与学习留存度。我们目前正处于这项技术的起步阶段。当这个行业完全成熟时，现在从事这项技术的人将成为领导者。本书作者们的研究工作能够提供可靠的见证空间计算前景的行业案例。仅这一新市场就能吸纳数十亿美元的投资，尤其是 AR（Magic Leap 融资近 30 亿美元）与 VR（Facebook以 30 亿美元收购 Oculus Rift）。
空间计算已经开始在多个领域产生影响，我们希望能启发这些领域里的从业者。我们发现，对空间计算的一些基础法则缺乏认识，是许多人进入空间计算领域的“绊脚石”。通过本书，我们将相关知识变得更加通俗易懂，使得经验丰富与快速成长的空间计算从业者不必阅读成堆的图书，就能获得这些知识。
本书的内容涵盖了各类头戴式显示设备及平台的应用开发与内容创建，包括 Magic Leap、Oculus Rift、微软的 HoloLens，以及移动端 AR（苹果的 ARKit 与谷歌的 ARCore）。本书主要提供基于 Unity 的 C# 开发案例，并有少量基于 Unreal 引擎的 C++ 与 Blueprints开发案例。
为了降低门槛，我们只要求读者有能够运行移动端 AR（ARKit 与 ARCore）的设备及开发机（PC 或 Mac）。我们意识到行业正在快速地变化发展，每时每刻都有大公司在发布头戴式显示设备与新的软件开发工具包（SDK）。因此，我们将重点放在理论与高层概念上，以便这些知识能够应对空间计算在未来几年里出现的新平台与新设计范式。
我们理解不是每个人都能负担得起购买高端头戴式显示设备的数千美元的花费，因此，我们鼓励读者更多地去关注移动空间计算的知识，因为概念都是相通的。除了 Udacity上的“VR 开发者纳米学位”在线课程，以及 Coursera 与 Udemy 上的大型开放式在线课程（MOOC）以外，我们还可以通过空间计算领域里的一些领军人物提供的资料，获得更多关于技术与创新的开源教程，以帮助自己不断进步。自 2015 年以来，ARVR Academy（一个多元化与包容性的组织，本书的收益将捐赠给该组织）的联合创始人Liv Erickson（VR 社交初创公司 High Fidelity 的首席工程师），持续不断地发布着学习资料 ，这些资料随着谷歌 Cardboard 的出现而变得越来越受欢迎。
本书的作者之一，FusedVR 的创始人 Vasanth 在 YouTube 上有大量的教学视频，这些视频详细地剖析了近年来的一些空间计算应用。你可以在 YouTube 的 FusedVR 频道中找到这些视频。
GitHub 仓库提供了更多的资源，当你继续学习超越本书范围的知识时，我们推荐你参考这些资源（。
本书的组织结构
空间计算的标准仍在发展，我们希望为读者提供一个全面的概览，涵盖三大板块，包括艺术设计、技术开发，以及能够展示技术发展历程与空间计算现状和未来的实际案例。
1.艺术设计
对于空间计算，我们首先需要理解如何在 3D 空间中获得更好的体验，这使得它有别于以往任何形式的计算媒介，并且“完全以用户体验为本”。因此，本书对于设计、艺术，以及内容构建工具的关注是必不可少的。首先，Unity 的研究主管 Timoni West 详细介绍了空间计算与交互设计的发展历程，Adobe 的新兴设计主管 Silka Miesnieks 讨论了空间计算中以人为本的交互与感官设计的思想。接着，由企业家转型为风险投资家的 3D 技术美术设计师 Tipatat Chennavasin 对内容构建工具进行了概述。3D 技术美术设计师与营销主管 Jazmin Cano 为那些渴望在各类平台上提升美术资源品质的设计师分享了自己对内容构建工具的理解。
2.技术开发
在艺术设计之后，我们过渡到本书的第 2 部分。作为计算机视觉技术的先驱，6D.ai 的联合创始人、牛津大学主动视觉实验室的教授 Victor Prisacariu 与 Matt Miesnieks 重点讨论了 AR 云曙光时代的硬件与软件技术。
对于硬件与计算机视觉（SLAM）算法的基本工作原理，以及新开发者在使用 AR 云构建应用时对技术基准与商业决策（如何选定目标头戴式显示设备进行开发）的基本思考法则，两位作者分享了自己的深入理解。同时，他们非常详细地比较了 ARKit 与ARCore 两大框架。
Magic Leap 的 Steve Lukas、Vasanth Mohan，以及 VRTK 开源软件库的创造者 HarveyBall 与布道者 Clorama Dorvilias，为我们带来了跨平台的开源开发专题。
对于那些刚开始从事游戏行业的开发者，以及使用 ARKit 与 ARCore 开发 iOS 与Android 应用的移动端开发者来说，都能从这些章节中学到很多知识。
实体现实的应用案例
本书提供的应用案例来自各垂直领域，涉及使用仿真环境的应用程序，以及在 3D 环境，尤其是在空间计算环境中优化过的新型 B2B 体验。这些案例涵盖了数据可视化、人工智能、教育培训、体育，以及计算机生命科学（医疗保健技术、生物技术、医学技术）领域。
美国旧金山大学数据研究所的深度学习项目研究员 Erin Pangilinan、Unity 的人工智能研究部主任 Nicolas Meuleau、Unity 的高级软件工程师 Arthur Juliani，结合空间计算中的数据驱动技术，为那些不熟悉数据工程、人工智能、机器学习及计算机视觉领域的开发者，提供了一系列的方法、模型与最佳实践。Erin 通过让开发者深入地理解如何利用数据可视化来改善用户体验，从而让开发者认识到 2D 与 3D 数据可视化在设计范式上的区别。Meuleau 与 Juliani 为开发者展示了如何通过现有的、生成的或加载的数据来改变实体现实中的角色行为 ；同时，还为那些希望在空间计算领域里开发游戏的软件工程师展示了如何将数据驱动式设计与以人为本的 AI 融为一体。
YUR 公司的创始人 Dilan Shah，来自 STRIVR 公司的软件工程师 Rosstin Murphy，以及5 次艾美奖得主、体育技术界的领袖人物、 ESPN 前员工 Marc Rowley，为我们展示了空间计算是如何优化医疗保健技术、教育培训，以及体育技术领域的应用体验的。
任何来自其他学科的空间计算新人都能从本书中学到技术与创新方法，从而打造出成功的应用体验。