2020 Google 开发者大会：多项 ARCore 更新带来AR开发全新可能！
疫情背景下，Google 为了与本土开发者相聚，GDS 2020（Google 开发者大会）搬到线上，以“代码不止”为主题，14+ 产品线，50+ 精彩技术演讲，70+ 技术专家，6 天技术演讲满满干货。ARCore 压轴出场，着重介绍了今年新推出的两项AR领域的重磅功能 : Depth API（深度 API）以及持久云锚点（Persistent Cloud Anchors）技术，搭载引人入胜的精彩展示，带你感受科技为生活带来的无限可能。
Google 发布于2018年的 ARCore 是增强现实技术开发者的平台，为 Android 和 iOS 用户创造有效的 AR 体验。目前该技术已支持7亿台以上的设备，被应用成千上万款 APP 上，并且持续成长中。
11月16日的 Keynote 演讲，以及11月21日的两场会议围绕“ ARCore 新功能”和“深度 API 实现 AR 真实感”两大主题，介绍了 ARCore 在技术上的新进功能，在环境景深理解上的进阶技术探索，以及与本地开发者的创新合作成果。加上科技达人多角度诠释 ARCore 技术更新及本土案例，掀起科技迷们对 AR 的新一波热情。
ARCore在中国 - 越来越多开发者正在创新运用
从 2018 年 ARCore 技术登陆中国，已经在教育、购物、游戏等多个行业和大量开发者进行合作。随着 ARCore 的不断更新，越来越多的中国开发者正在创新应用这项技术，为本地用户带来更多新奇体验。
美图 - 用 AR 拍出梦幻自我
美图公司利用 ARCore 的增强脸部 API（Augmented Faces API）构建了 100 多个自拍滤镜，让用户可以在拍摄照片和视频时体验 AR 特效。增强脸部 API 提供高精度的由 468 个点组成的密集 3D 脸部网格，追踪嘴部动作、眨眼、点头和一些复杂的细节。
此外，新推出的瞬间放置 API (Instant Placement API) 对美图更是如虎添翼。加上几行代码，通过将 AR 对象锚定到 2D 图像中，让用戶不需要扫描，就可以放置虚拟物件并进行互动。
有道少儿词典 - 用 AR 身临其境地学习
有道少儿词典使用 AR 打破了时空限制，让孩子们有趣和又有效的方式学习新单词。利用 ARCore 的环境理解（Environmental Understanding）及平面识别(Plane Finding)，识别环境中的对象和特征，精确地理解环境，加上炫酷逼真的 3D 模型，为孩子们带来身临其境学单词的乐趣体验。
学习过程中，孩子们不仅可以将精致模型投射在家里，从各种角度进行观察，放大缩小或移动；还可以点击模型上的中英文词框，或点进查词结果页，查看中英单词的权威释义，使形象和字义深刻联结。这大大提升了学习的趣味性，让孩子们边学边玩两不误。
滴滴 - 用 AR 让路痴永不迷路
在火车站、商场和机场等大型公共区域，你是否有打上车却找不到司机的体验？AR实景导航，让路痴轻松找到方向。
基于 ARCore 技术，滴滴构建了一个实景导航解决方案，实时识别用户和环境之间的定位关系，AR 实景导航引导信息逼真地和实景环境相结合，用户只需要跟着 AR 路标走，直接跳过转换 2D 地图信息的步骤。在这个过程中，ARCore 的环境理解和运动跟踪功能，确保手机始终识别用户方位，给出正确的路标指导。
在定位时，ARCore 会提示用户获得一张有效定位图片，利用运动追踪功能，感知用户位置、移动速度和角度。同时，ARCore 通过环境理解功能可以理解周围现实环境，估算平面信息，不论是商场地面，还是垂直于水平地面的墙壁、指示牌，它都能快速理解并相应放置虚拟指示路标，使引导信息渲染得更加逼真，让用户一看就明白。
这种有用、科技感十足的导航方式，一经推出就大受用户好评。这项功能在中国、日本等多地上线，据数据显示，它帮助用户节省近 1/4 的时间，满意度达 80%。
ARCore 新进展 - 让更多人，在更多地方体验更逼真的增强世界
除了这些丰富多彩的创新合作成果，本次 Google 开发者大会上，还着重介绍了 ARCore 技术的最新进展，为各位开发者们带来了两项AR领域的重磅功能：Depth API（深度 API）以及持久云锚点（Persistent Cloud Anchors）技术。
深度 API - 解决 AR 界的遮挡及互动难题
2020年中，Google 发布了 ARCore Depth API（深度 API），为开发者们带来解决虚拟物件拟真技术难题的希望，开发者凭借 Depth API 和单个 RGB 摄像头就可创建出深度图。不依赖任何特殊硬件，所以在大部分兼容 ARCore 的设备上都是可以使用深度API的。
Depth API 的一项最关键功能就是“遮挡”：虚拟物体能够准确地出现在现实物体后面，与场景真正融合在一起。此前没有遮挡功能，虚拟物体容易“横空出世”，更像是现实世界中的“贴图”，让人瞬间出戏。
△ 左边没有遮挡功能的“喵星人”缺乏真实感，右侧开启遮挡功能的“喵星人”则逼真地藏在了遮挡物后面。
那么究竟深度 API 是怎么实践的呢？怎么使用深度呢？
首先，我们先定义深度：就像下图里面表示的，C 点是摄像机的位置，Z 轴是摄像机的主轴。大写的 A 点，表示一个现实的物体。C 到 A 点的深度，就是线段 CA 在 Z 轴的投影。
一旦我们知道场景里面的物体的距离，我们就可以在渲染虚拟物体的时候使用这个信息，进行 Z buffer 计算。比较当前的像素点的深度与之前渲染在这个像素的点的深度，如果已经有别的物体出现在更近的位置，那么我们就忽略当前的像素点，这样就实现了基于深度的遮挡效果。
如上图所示，我们使用蓝色表示近处的深度，蓝色越深表示一个物体靠近摄像头越近，它的的深度值就越低。当我们启用深度表示时，就可以看到桌子的深度比椅子所在的位置深度低，所以桌子就能遮挡住椅子。
此外，使用深度信息，还可以做出一系列拟真的特殊效果。例如更加逼真的物理反弹飛濺，避开障碍物的最佳路径规划，或完美贴合在凹凸不平的表面。也可以近一步运用粒子特效，模拟一些很难用其它传统的渲染技术达到真实感的自然现象，如火花、落叶、下雨、下雪等。
知名的社交应用 Snap 公司的设计师和工程师就将 Depth 的多项特性巧妙地融合在一起，开发出了一套与实景完美結合的 Snapchat 滤镜，包括跳舞热狗（Dancing Hotdog ）以及 Android 版独有的海底世界（Undersea World）。此外，Snapchat 也在滤镜开发工具中，整合了ARCore Depth API ，滤镜创作者只需在开发工具中下载 ARCore Depth API 模版，就能开发出基于深度，更沉浸更真实的体验。因为开发过程大大简化，滤镜创作者们可以更轻松地应用高级的深度功能。
△ Snapchat 滤镜的真实体验感
除了移动游戏与社交软件上的应用之外，深度 API(Depth API) 还在很多工具类应用上大放光彩。
例如，提供远程技术解决方案的应用程序 TeamViewer Pilot 在视频会话中加入 AR 注释，这都多亏了 Depth API 帮助程序更好地理解环境及物件，世界各地的专家足不出户，就可以准确使用实时 3D AR 注释为用户提供远程技术支持。
△ TeamViewer Pilot 应用中的 3D 注释功能让专家远程精准标记出重要细节
三星的快速测量工具 Quick Measure 也在技术支持下不断迭代 ，目前 Quick Measure 就可以在三星 Galaxy Note10+ 和 Galaxy S20 Ultra 的设备上应用 ARCore Depth API ,为用户提供更精确的测量功能了。
三星相机技术项目经理 Soowan Kim 认为 Depth API 大有可为：“Depth 会从多个层面丰富用户的 AR 体验。它将减少扫描时间，加快平面检测速度，即使是纹理不清晰的平面也能快速检测。
△ Quick Measure 实现更精准测量
持久云锚点 (Persistent Cloud Anchors) - 让 AR 物体永存的秘密
ARCore 云锚点，通过 Google 的云服务托管锚点，可以让二个人甚至是二百人在同一个虚拟世界共享与互动。全新的持久云锚点则加强了这个功能，让用户将虚拟内容“储存”到任意现实场景中，将了文字、影像信息、或3D人物虚拟内容的和现实世界地点关联起来，永久保存共享。
△ SJ Labs 通过 AR 标记协助指引旅客们在斯德哥尔摩中央车站内行进
这一技术，让許多人以城市真实环境互动的沉浸 AR 应用及游戏得以实现。例如 MARK，是由 创梦天地和 Sybo 开发的一款AR社交应用，可以让你通过智能手机，在现实世界中和朋友、粉丝共同发现、共同创作的和现实场景完美融合的AR涂鸦。运用 AR 和地点场景完美整合的特性，你还可以用来装饰房屋、进行多人大范围的寻宝游戏、甚至跨城市的慈善募款等。
△ MARK 应用中与粉丝好友一起 AR 涂鸦
此外，沉浸式内容工作室 Phoria 与 Google 、Netflix、WMF和一加合作，推出大自然主题的移动端 AR 互动应用：《Rewild》（中文直译为：重归荒野）。首个试播集名为《Frozen》，是系列四部曲的第一部。你在体验过程中，需要先用手机扫描周围环境，通过扫描和探索来发觉故事中的 AR内容。通过该应用，你可以利用周围的空间与 AR 进行互动，好像亲眼目睹地球的浩劫与救赎，效果震撼人心。
△ REWILD 应用中可身临其境探索宇宙
接轨5G - AR赋能 5G 更多沉浸体验
当我们讨论行动互联网的未来, 相信“5G” 绝对是那个最重要的关键词。
5G 赋能了巨量、稳定、且快速的资料互联, 无论是对用户，或是整个IoT生态圈，都将带来革命性的新机会, 也为AR的应用带来前所未有的可能。
Google ARCore 团队也和许多运营商合作尝试了AR 加 5G 的全新应用。例如，在南韩，这个全球第一个迈入 5G 全面商用化的国家，LG Uplus 在首尔地铁站，建立了 AR 艺术长廊以及展示车厢。虽然地铁站一向都是人数多、信号差的地方，但是有了 5G 的加持，用户可以直接通过手机观看韩流明显或是瑜伽教练的真人全息影像，也可以顺畅体验复杂的 3D 人物舞蹈。
此外，Google 也与SK Telecom，及文化遗产管理局合作，创建了全球第一个5G 赋能的AR增强现实文旅体验，作为 5G 网络服务示范。通过ARCore 赋能，用户可以身临其境的了解昌德宫的历史故事，生动地看到昌德宫的金泉桥、仁政殿、熙政堂等景点。之前因文化遗产保护而限制入内的地方也得以公开。 此外，用户还可以与AR中的王和王后一起拍摄 AR 照，或进行 AR 射箭、AR 放风筝等丰富多彩的 AR 体验。SK 电信品牌营销集团负责人表示：“今后将利用 5G 技术，推出更多能够为社会做出贡献的活动”。
AR 作为一种视觉沉浸式媒介，持续吸引着社会各界的广泛关注。Google 作为技术先驱,正积极地与全球开发者合作，用大放异彩的 ARCore 带来一个又一个惊喜。这种变革式的新体验，在不断发展中已有长足进步，但想必它还有更为广阔的远景。未来，它将如何予力社会与个人，改变你我的生活呢，让我们拭目以待。
想马上开始实做你的第一个AR 应用却没有基础？ Google 与网易有道在中国大学 MOOC（慕课）合作，上线 ARCore 技术零基础免费线上课程，助力开发者学习成长。你可以直接到慕课官网搜索 “Google ARCore 入门开发课程“, 马上开始学习！
正在开发AR app 但总是觉得虚拟物件效果不够真实？你可以通过Google的示范应用ARCore Depth Lab 马上体验 ARCore 深度 API 的功能。这个应用已经上架 Google Play，并且代码开源，在 Github 中直接搜寻 arcore-depth-lab，相关的代码、论文、简介小视频都可以免费下载。
美图 - 用 AR 拍出梦幻自我
美图公司利用 ARCore 的增强脸部 API（Augmented Faces API）构建了 100 多个自拍滤镜，让用户可以在拍摄照片和视频时体验 AR 特效。增强脸部 API 提供高精度的由 468 个点组成的密集 3D 脸部网格，追踪嘴部动作、眨眼、点头和一些复杂的细节。
此外，新推出的瞬间放置 API (Instant Placement API) 对美图更是如虎添翼。加上几行代码，通过将 AR 对象锚定到 2D 图像中，让用戶不需要扫描，就可以放置虚拟物件并进行互动。
有道少儿词典 - 用 AR 身临其境地学习
有道少儿词典使用 AR 打破了时空限制，让孩子们有趣和又有效的方式学习新单词。利用 ARCore 的环境理解（Environmental Understanding）及平面识别(Plane Finding)，识别环境中的对象和特征，精确地理解环境，加上炫酷逼真的 3D 模型，为孩子们带来身临其境学单词的乐趣体验。
学习过程中，孩子们不仅可以将精致模型投射在家里，从各种角度进行观察，放大缩小或移动；还可以点击模型上的中英文词框，或点进查词结果页，查看中英单词的权威释义，使形象和字义深刻联结。这大大提升了学习的趣味性，让孩子们边学边玩两不误。
滴滴 - 用 AR 让路痴永不迷路
在火车站、商场和机场等大型公共区域，你是否有打上车却找不到司机的体验？AR实景导航，让路痴轻松找到方向。
基于 ARCore 技术，滴滴构建了一个实景导航解决方案，实时识别用户和环境之间的定位关系，AR 实景导航引导信息逼真地和实景环境相结合，用户只需要跟着 AR 路标走，直接跳过转换 2D 地图信息的步骤。在这个过程中，ARCore 的环境理解和运动跟踪功能，确保手机始终识别用户方位，给出正确的路标指导。
在定位时，ARCore 会提示用户获得一张有效定位图片，利用运动追踪功能，感知用户位置、移动速度和角度。同时，ARCore 通过环境理解功能可以理解周围现实环境，估算平面信息，不论是商场地面，还是垂直于水平地面的墙壁、指示牌，它都能快速理解并相应放置虚拟指示路标，使引导信息渲染得更加逼真，让用户一看就明白。
这种有用、科技感十足的导航方式，一经推出就大受用户好评。这项功能在中国、日本等多地上线，据数据显示，它帮助用户节省近 1/4 的时间，满意度达 80%。
ARCore 新进展 - 让更多人，在更多地方体验更逼真的增强世界
除了这些丰富多彩的创新合作成果，本次 Google 开发者大会上，还着重介绍了 ARCore 技术的最新进展，为各位开发者们带来了两项AR领域的重磅功能：Depth API（深度 API）以及持久云锚点（Persistent Cloud Anchors）技术。
深度 API - 解决 AR 界的遮挡及互动难题
2020年中，Google 发布了 ARCore Depth API（深度 API），为开发者们带来解决虚拟物件拟真技术难题的希望，开发者凭借 Depth API 和单个 RGB 摄像头就可创建出深度图。不依赖任何特殊硬件，所以在大部分兼容 ARCore 的设备上都是可以使用深度API的。
Depth API 的一项最关键功能就是“遮挡”：虚拟物体能够准确地出现在现实物体后面，与场景真正融合在一起。此前没有遮挡功能，虚拟物体容易“横空出世”，更像是现实世界中的“贴图”，让人瞬间出戏。
△ 左边没有遮挡功能的“喵星人”缺乏真实感，右侧开启遮挡功能的“喵星人”则逼真地藏在了遮挡物后面。
那么究竟深度 API 是怎么实践的呢？怎么使用深度呢？
首先，我们先定义深度：就像下图里面表示的，C 点是摄像机的位置，Z 轴是摄像机的主轴。大写的 A 点，表示一个现实的物体。C 到 A 点的深度，就是线段 CA 在 Z 轴的投影。
一旦我们知道场景里面的物体的距离，我们就可以在渲染虚拟物体的时候使用这个信息，进行 Z buffer 计算。比较当前的像素点的深度与之前渲染在这个像素的点的深度，如果已经有别的物体出现在更近的位置，那么我们就忽略当前的像素点，这样就实现了基于深度的遮挡效果。
如上图所示，我们使用蓝色表示近处的深度，蓝色越深表示一个物体靠近摄像头越近，它的的深度值就越低。当我们启用深度表示时，就可以看到桌子的深度比椅子所在的位置深度低，所以桌子就能遮挡住椅子。
此外，使用深度信息，还可以做出一系列拟真的特殊效果。例如更加逼真的物理反弹飛濺，避开障碍物的最佳路径规划，或完美贴合在凹凸不平的表面。也可以近一步运用粒子特效，模拟一些很难用其它传统的渲染技术达到真实感的自然现象，如火花、落叶、下雨、下雪等。
知名的社交应用 Snap 公司的设计师和工程师就将 Depth 的多项特性巧妙地融合在一起，开发出了一套与实景完美結合的 Snapchat 滤镜，包括跳舞热狗（Dancing Hotdog ）以及 Android 版独有的海底世界（Undersea World）。此外，Snapchat 也在滤镜开发工具中，整合了ARCore Depth API ，滤镜创作者只需在开发工具中下载 ARCore Depth API 模版，就能开发出基于深度，更沉浸更真实的体验。因为开发过程大大简化，滤镜创作者们可以更轻松地应用高级的深度功能。
△ Snapchat 滤镜的真实体验感
除了移动游戏与社交软件上的应用之外，深度 API(Depth API) 还在很多工具类应用上大放光彩。
例如，提供远程技术解决方案的应用程序 TeamViewer Pilot 在视频会话中加入 AR 注释，这都多亏了 Depth API 帮助程序更好地理解环境及物件，世界各地的专家足不出户，就可以准确使用实时 3D AR 注释为用户提供远程技术支持。
△ TeamViewer Pilot 应用中的 3D 注释功能让专家远程精准标记出重要细节
三星的快速测量工具 Quick Measure 也在技术支持下不断迭代 ，目前 Quick Measure 就可以在三星 Galaxy Note10+ 和 Galaxy S20 Ultra 的设备上应用 ARCore Depth API ,为用户提供更精确的测量功能了。
三星相机技术项目经理 Soowan Kim 认为 Depth API 大有可为：“Depth 会从多个层面丰富用户的 AR 体验。它将减少扫描时间，加快平面检测速度，即使是纹理不清晰的平面也能快速检测。
△ Quick Measure 实现更精准测量
持久云锚点 (Persistent Cloud Anchors) - 让 AR 物体永存的秘密
ARCore 云锚点，通过 Google 的云服务托管锚点，可以让二个人甚至是二百人在同一个虚拟世界共享与互动。全新的持久云锚点则加强了这个功能，让用户将虚拟内容“储存”到任意现实场景中，将了文字、影像信息、或3D人物虚拟内容的和现实世界地点关联起来，永久保存共享。
△ SJ Labs 通过 AR 标记协助指引旅客们在斯德哥尔摩中央车站内行进
这一技术，让許多人以城市真实环境互动的沉浸 AR 应用及游戏得以实现。例如 MARK，是由 创梦天地和 Sybo 开发的一款AR社交应用，可以让你通过智能手机，在现实世界中和朋友、粉丝共同发现、共同创作的和现实场景完美融合的AR涂鸦。运用 AR 和地点场景完美整合的特性，你还可以用来装饰房屋、进行多人大范围的寻宝游戏、甚至跨城市的慈善募款等。
△ MARK 应用中与粉丝好友一起 AR 涂鸦
此外，沉浸式内容工作室 Phoria 与 Google 、Netflix、WMF和一加合作，推出大自然主题的移动端 AR 互动应用：《Rewild》（中文直译为：重归荒野）。首个试播集名为《Frozen》，是系列四部曲的第一部。你在体验过程中，需要先用手机扫描周围环境，通过扫描和探索来发觉故事中的 AR内容。通过该应用，你可以利用周围的空间与 AR 进行互动，好像亲眼目睹地球的浩劫与救赎，效果震撼人心。
△ REWILD 应用中可身临其境探索宇宙
接轨5G - AR赋能 5G 更多沉浸体验
当我们讨论行动互联网的未来, 相信“5G” 绝对是那个最重要的关键词。
5G 赋能了巨量、稳定、且快速的资料互联, 无论是对用户，或是整个IoT生态圈，都将带来革命性的新机会, 也为AR的应用带来前所未有的可能。
Google ARCore 团队也和许多运营商合作尝试了AR 加 5G 的全新应用。例如，在南韩，这个全球第一个迈入 5G 全面商用化的国家，LG Uplus 在首尔地铁站，建立了 AR 艺术长廊以及展示车厢。虽然地铁站一向都是人数多、信号差的地方，但是有了 5G 的加持，用户可以直接通过手机观看韩流明显或是瑜伽教练的真人全息影像，也可以顺畅体验复杂的 3D 人物舞蹈。
此外，Google 也与SK Telecom，及文化遗产管理局合作，创建了全球第一个5G 赋能的AR增强现实文旅体验，作为 5G 网络服务示范。通过ARCore 赋能，用户可以身临其境的了解昌德宫的历史故事，生动地看到昌德宫的金泉桥、仁政殿、熙政堂等景点。之前因文化遗产保护而限制入内的地方也得以公开。 此外，用户还可以与AR中的王和王后一起拍摄 AR 照，或进行 AR 射箭、AR 放风筝等丰富多彩的 AR 体验。SK 电信品牌营销集团负责人表示：“今后将利用 5G 技术，推出更多能够为社会做出贡献的活动”。
AR 作为一种视觉沉浸式媒介，持续吸引着社会各界的广泛关注。Google 作为技术先驱,正积极地与全球开发者合作，用大放异彩的 ARCore 带来一个又一个惊喜。这种变革式的新体验，在不断发展中已有长足进步，但想必它还有更为广阔的远景。未来，它将如何予力社会与个人，改变你我的生活呢，让我们拭目以待。
想马上开始实做你的第一个AR 应用却没有基础？ Google 与网易有道在中国大学 MOOC（慕课）合作，上线 ARCore 技术零基础免费线上课程，助力开发者学习成长。你可以直接到慕课官网搜索 “Google ARCore 入门开发课程“, 马上开始学习！
正在开发AR app 但总是觉得虚拟物件效果不够真实？你可以通过Google的示范应用ARCore Depth Lab 马上体验 ARCore 深度 API 的功能。这个应用已经上架 Google Play，并且代码开源，在 Github 中直接搜寻 arcore-depth-lab，相关的代码、论文、简介小视频都可以免费下载。
