下一代空间计算：AR与VR创新理论与实践

本书以基本概念、理论原理为主，以行业应用案例为辅，介绍空间计算中的交互设计、艺术设计、计算机视觉技术、AR/VR 开发框架、跨平台应用开发技术、机器学习与数据可视化、人工智能等领域的知识图谱，并展示了空间计算在医疗保健、体育娱乐、教育培训等行业的实际应用案例。本书提供了对空间计算的庞大知识体系的广阔概览。本书适合那些在技术开发、艺术设计、产品策划方面具有一定经验的读者，可作为他们入门空间计算领域的指引之书 ；也适合那些在空间计算领域已有一定实践经验的从业者，作为梳理知识体系与开拓创新思路之用。

Erin Pangilinan：首席作者，设计师兼软件工程师，创业顾问。2017年她被选为旧金山大学数据研究所深度学习项目的多元化研究员。Steve Lukas：联席作者，Across Realities联合创始人，曾为AR与VR企业领域的风险投资者。他拥有5年以上的行业经验，包括在高通与Magic Leap任职。Vasanth Mohan：联席作者，FusedVR创始人，Udacity的“VR开发者纳米学位（VR Developer Nanodegree）”课程开发者。

本书的译者是来自腾讯公司的4位高级工程师，在AR&VR、实时渲染、音视频处理方面有着多年的从业经验，在工作上与腾讯优图实验室、光影研究室有长期合作。
柯灵杰：腾讯高级工程师，代码委员会委员，腾讯学院认证讲师，动态化框架中台及发布器技术中台子项目组PMC、多项国内及国际技术发明专利的发明人、担任过多个全球开发这大会讲师。
赵桢阳：腾讯高级工程师，中科大硕士，资深从业者，在AR&VR方面有多年经验，对三维变换有深入的理解。
戴威：腾讯高级工程师，资深从业者，在AR&VR方面有多年经验，对跨平台AR&VR（尤其是移动端）有多年积累。
夏胜飞：腾讯高级工程师，资深从业者，在AR&VR方面有多年经验，擅长音视频处理，渲染效果优化。

序言.xv
前言xvii
第 1 部分　跨越数字和现实的设计与艺术
第 1 章　人类与计算机的交互3
常用术语 ..3
概述 4
历代的人机交互模态 ：20 世纪之前 ..4
历代的人机交互模态 ：第二次世界大战期间 6
历代的人机交互模态 ：第二次世界大战之后 7
历代的人机交互模态 ：个人计算机崛起的时代  10
历代的人机交互模态 ：计算机微型化的时代 . 11
为何要回顾这些历史 .. 13
常见的 HCI 模式 . 13
新的人机交互模态  18
空间计算设备的人机交互模态现状 . 19
沉浸式计算系统当前所用的控制器 . 19
身体追踪技术  21
关于手追踪和手势识别的注记 .. 22
下一代语音输入、手势输入和硬件输入 . 22
第 2 章　为感官而设计，不要为设备而设计. 26
展望未来  26
感知技术概览 . 27
我们为谁打造这样的未来 . 29
女性在 AI 中扮演的角色 . 32
感官设计  33
感官设计概述  33
五项感官设计原则  35
1. 直觉体验是多感官的  35
2. 3D 将会触手可及 .. 36
3. 设计要自然而符合物理原理. 37
4. 设计无法完全可控  37
5. 释放空间协作的力量  38
Adobe 的 AR 故事. 38
结语 . 39
第 2 部分　扩展现实如何改变数字艺术
第 3 章　VR 艺术. .43
一种更自然的 3D 艺术创作方式  43
VR 动画 . 49
第 4 章　3D 艺术优化..52
概述 . 52
建议  53
理想的解决方案 .. 54
拓扑结构 . 55
烘焙  58
绘制调用  63
使用 VR 工具进行 3D 艺术创作  63
使用现成的 3D 模型与重新制作  64
结语 . 64
第 3 部分　硬件、SLAM、追踪
第 5 章　计算机视觉如何让 AR 成为可能67
我们是谁  67
AR 简史 . 68
为何以及如何选择 AR 平台  70
作为开发者，我应该选择哪个平台，为何要如此选择 .. 70
AR 效果具有不确定性 . 70
软硬件集成. 72
光学校准 . 73
惯性校准 . 74
追踪技术的未来展望 . 76
AR 计算机视觉技术的未来展望 . 78
地图 . 80
多人 AR 的工作原理 . 84
最具挑战性的部分 . 85
重定位的工作原理 . 86
AR 中重定位的研究现状  87
重定位问题会有消费级的解决方案吗.. 88
难道谷歌公司或苹果公司无法给出消费级的解决方案吗 .. 89
重定位不等于多人 AR . 90
当前 App 的重定位实际是怎么做的 . 91
AR 平台 . 94
苹果的 ARKit  94
解密一些谜团  95
ARCore 是不是轻量级的 Tango .. 96
应该开始基于 ARCore 构建 AR 应用吗 .. 98
Tango、HoloLens、Vuforia 以及其他 AR 平台 .. 98
其他开发建议 . 99
光照  99
多人 AR — 到底难在何处 . 100
用户通过 AR 进行社交活动  101
AR 应用如何连接现实世界并确定自身位置 .. 101
AR 应用如何理解现实世界的事物并与之连接 . 102
AR 云  103
我所想象的 AR 云  104
AR 云有多重要 . 104
AR 云到底是什么 . 104
为什么媒体对 ARKit 和 ARCore“不感冒”  105
构建出色的 AR 应用还缺少什么 . 105
今天的移动云能否胜任这项工作 . 106
离开 AR 云，ARKit/ARCore 是否毫无用处 .. 106
AR 云的黎明 .. 106
更大的图景 — 隐私数据和 AR 云数据 .. 108
术语表 111
第 4 部分　创建跨平台的 VR/AR 应用
第 6 章　VR/AR 跨平台方法论115
为什么需要跨平台 . 115
游戏引擎的作用 .. 117
理解 3D 图形  118
虚拟相机 .. 118
自由度  119
游戏设计的可移植性教程 .. 121
简化控制器的输入 . 123
开发步骤 1 ：设计基本界面  123
开发步骤 2 ：平台集成 .. 125
总结 .. 128
第 7 章　VRTK ：社区开源框架..130
什么是 VRTK，为什么大家会使用 VRTK  130
VRTK 的历史  131
SteamVR Unity Toolkit 的诞生  131
VRTK v4 . 133
VRTK 的未来  133
VRTK 的成功  134
开始使用 VRTK v4 . 135
第 8 章　三项 VR/AR 最佳开发实践..140
VR/AR 开发的难度大 .. 140
处理移动 . 141
VR 中的移动机制 . 142
AR 中的移动机制 . 147
有效地利用音效 .. 149
VR 中的音效 .. 150
AR 中的音效 .. 152
常见的交互范式 .. 153
VR 背包系统 .. 153
AR 射线检测 .. 156
结语 .. 158
第 5 部分　增强数据表示 ：空间计算中的数据可视化与人工智能
第 9 章　数据与机器学习可视化在空间计算中的开发与设计.161
概述 .. 161
理解数据的可视化 . 162
空间计算中数据与机器学习的可视化法则  163
为什么数据与机器学习的可视化能在空间计算中发挥作用 . 164
数据可视化设计随着 XR 的出现而发展 .. 164
在 XR 中呈现 2D 数据与 3D 数据  166
空间计算中的 2D 数据可视化 VS 3D 数据可视化  166
空间计算中的数据可视化交互  167
动画 .. 168
失败的数据可视化设计 169
良好的数据可视化设计能够优化 3D 空间 . 169
“节省时间感觉就像一切变得简单了” . 170
数据表示、信息图表与交互 . 170
什么是数据可视化 .. 171
数据可视化与大数据或机器学习可视化之间的区别  171
如何创建数据可视化 ：数据可视化的构建流程 . 172
WebXR ：在 Web 端构建数据可视化  172
数据可视化在 XR 中遭遇的挑战  173
数据可视化的行业案例 174
3D 重建与直接操作真实数据 ：XR 中的解剖结构  176
近距离了解 Glass Brain. 176
TVA Surg 医学成像 VR 模块 .. 177
人人都能做数据可视化 ：XR 中的开源数据可视化 . 177
生物大分子数据的可视化  179
实践教程 ：如何在空间计算中创建数据可视化 . 179
如何创建数据可视化 ：资源 . 181
结语 .. 182
参考资料 . 182
资源 .. 183
数据可视化工具  184
机器学习可视化工具 .. 184
数据新闻的可视化 .. 184
术语表 .. 184
第 10 章　AI 角色与行为..186
概述 .. 186
行为 .. 189
现状 ：响应式 AI. 191
适应性  192
复杂性与普遍性  193
可行性  193
赋予系统更高的智能 ：慎思式 AI . 194
机器学习 . 200
强化学习 .. 201
深度强化学习 . 202
模仿学习 .. 203
自动规划与机器学习相结合 .. 204
应用 . 204
结语 .. 205
参考资料 . 206
第 6 部分　体验现实的应用案例
第 11 章　VR 与 AR 医疗保健生态系统213
VR/AR 医疗保健技术应用设计 .. 214
标准用户体验并不直观 215
布置安定的环境  216
便利性  216
指导案例 ：帕金森综合征项目 Insight . 216
Insight 的做法  217
Insight 的构建  217
企业 .. 221
医疗规划与指导  222
与医疗教育相关的体验 . 222
与患者相关的体验 .. 224
主动式医疗保健  226
前沿学术机构的研究案例 .. 226
第 12 章　体育爱好者的 XR 体验231
概述 .. 231
第 1 部分 ：体育 AR 与 VR 的五大关键法则  234
没有绝对的实时  235
第 2 部分 ：体育领域产品体验的进一步发展 .. 238
第 3 部分 ：打造未来  240
所有权  243
忠告 . 245
结语 .. 246
第 13 章　VR 企业培训案例. 247
概述 ：企业培训的重要性 .. 247
VR 培训有用吗  248
案例 ：洪水屋培训 . 250
VR 培训适合什么场景？“RIDE”准则  253
什么是良好的 VR 培训  254
3D 全景视频 . 255
3D 全景视频的优势. 256
3D 全景视频面临的挑战 .. 256
3D 全景视频的交互. 256
案例 ：工厂车间培训  260
叙事的重要性 .. 261
案例 ：商店反抢劫应急培训 . 261
XR 培训的未来 ：超越 3D 全景视频  263
计算机图形.. 263
案例 ：职场软技能培训 263
展望 ：摄影测量技术  265
展望 ：光场  266
展望 ：AR 培训  266
展望 ：语音识别 .. 267
展望 ：最理想的培训体验 .. 267
参考资料 . 268
后记..269
关于作者..271
关于封面..274

页　　数：300

开　　本：16开

正文语种：中文