什么是Project Aria？它对Meta的Orion眼镜有何影响？

Meta Orion眼镜在2024年Connect大会上（理所当然地）引发了大量关注。它们承诺提供独特的EMG功能、卓越的视觉效果和最先进的追踪技术。然而，这些眼镜究竟能做些什么，将取决于另一个较少被提及的Meta项目：Project Aria。

Project Aria简介

Project Aria于2020年9月首次宣布，相较于Meta最新的Quest头显和Meta AI解决方案等项目，它并未获得同样多的关注。但多年来，它一直在悄然塑造着Meta的扩展现实（XR）未来。

通过Project Aria进行的研究，已经帮助Meta收集了开发场景理解软件、新的3D建模能力等所需的数据。现在，随着Meta允许各类研究人员申请Aria开发套件，公司可能会以前所未有的速度加速创新。

我们可能会比预期更早看到一个版本的Orion眼镜，其中包含我们在Connect大会上未曾见过的功能。以下是关于Project Aria的一切，以及它对Meta XR路线图的意义。

什么是Project Aria？基础介绍

Project Aria是Meta在2020年推出的一个研究项目，旨在帮助其开发首款“可穿戴增强现实设备”。从广义上讲，这是Meta不仅仅专注于创建虚拟现实头显或如Horizon Worlds这样的软件的第一个证据。

根据Meta的说法，Project Aria为开发者提供了访问一对装满传感器的眼镜的机会（不带AR显示），帮助创新者从第一人称视角捕捉真实世界的数据。这确保了Meta能够收集到构建完全理解位置、上下文和意图的AR设备所需的数据。

起初，Meta仅限少数行业合作伙伴和研究人员参与Aria项目。例如，在2021年，这家科技巨头与BMW合作，使汽车公司能够利用其技术将虚拟内容引入汽车中。

自那时以来，Meta一直在探索AR技术的各种潜在应用场景，包括实时地图、导航能力以及培训和教育解决方案。Project Aria的研究已经推动了以下技术的创建：

- SceneScript：一种使用自回归AI结构化语言模型表示和推断场景几何的新技术。

- EgoBlur：由Meta创建的一种增强型AI模型，用于保护XR中的隐私，自动检测并模糊图像中的个人身份信息（PII）。

- EFM3D：一系列基于3D空间理解的新颖基础模型及其未来发展的基准。

- Project Aria无障碍性：将Aria带给每个人

Meta长期以来一直允许少数人参与Project Aria的研究。多个研究人员和学术团体贡献了开放研究“挑战”，生成了新数据集。之前的挑战包括Aria日常活动（面向计算机视觉研究人员）和Aria合成环境。Meta甚至邀请研究人员帮助他们使用Aria传感器技术创建数字孪生。

2024年，Meta首次向所有研究社区成员开放申请“Aria研究套件”（ARK）的机会。参与者仍需接受Meta的评估，以确保他们安全使用该技术（并用于相关应用场景）。然而，任何人都可以申请参与该项目，并获得以下资源：

- Meta Aria眼镜：内置电池、隐私开关、摄像头和七个麦克风的传感器眼镜，可以实时捕捉用户的眼动、位置、视频和音频等各种数据。

- 客户端SDK：允许开发者直接与Aria眼镜接口，创建自己的应用程序和功能，并收集数据。

- 云服务：机器感知服务为批准的研究伙伴提供各种基于云端的服务，如6自由度跟踪和3D眼动估计，确保用户可以利用Meta Reality Labs研究人员内部使用的算法和工具，加速开发过程。

Meta如何利用Project Aria研究套件？

从一开始，Meta就利用Project Aria快速收集数据，推动其在增强现实和人工智能领域的发展。然而，该项目最初仅供内部使用。现在，任何经过Meta批准的人都可以参与进来，为扩展现实空间和Meta未来设备的增长做出贡献。

为了激励感兴趣的研究中心和合作伙伴充分利用这一机会，Meta公布了可能决定未来Orion眼镜特性的多个研究项目的信息。

例如，基于最新的研究合作，Orion眼镜可能让用户实现：

1. 直接向专家学习

 想象一下，您可以在增强现实中模仿专业人士的技能，立即了解他们如何移动并与现实世界互动，从而指导您的学习。布里斯托尔大学正在通过其Project Aria研究专注于此。

 该教育机构参与的“Ego-Exo4D”项目，正从高技能专业人士（如机械师、运动员、音乐家和厨师）那里捕捉“第一人称数据”，探索他们如何与现实物体互动，以开发更直观的培训体验。借助这些见解，Meta可以创建高度沉浸式的AR应用，引导用户完成培训课程。例如，您可以实时看到厨师如何精确测量配料、添加到食谱中、准备特定食物等。

2. 更安全地驾驶

 Meta长期以来一直对探索增强现实内容对驾驶员的好处感兴趣。正如前面提到的，BMW是最早获得Project Aria访问权限的公司之一。现在，海得拉巴IIIT的研究人员正在此基础上开发新的解决方案。

 使用Project Aria，这些研究人员正在开发一个新的“驾驶员意图预测项目”。他们利用Aria眼镜上的外向和内向眼动追踪摄像头，以及其他车内传感器，来追踪驾驶员的目光。

 借助捕捉到的眼动数据，研究人员可以在驾驶员需要额外提醒以保持道路安全时识别出来。例如，当行人突然闯入街道而您正在查看后视镜时，眼镜可以检测到您尚未看到他们，并发出警告。总的来说，该项目的目标是减少交通事故，让驾驶员在路上保持警觉。

3. 提升无障碍性

 卡内基梅隆大学和爱荷华大学的两个额外的Project Aria项目聚焦于无障碍性。在爱荷华州，研究人员使用Aria研究套件帮助听力损失者。他们利用眼镜中的麦克风阵列确定声音来源。

 这些见解可以与增强现实眼镜上的提示或屏幕相结合，或者与助听器配合使用，以改善听力问题者的体验。卡内基梅隆大学的研究人员则利用Project Aria帮助视力障碍者。

 通过外部信标和眼镜内置的传感器，这些研究人员正在开发一个导航应用程序，帮助视力障碍者安全探索陌生环境，提供智能实时引导。

用Project Aria构建Meta的AR未来

Meta对Project Aria的持续投资及其决定向更广泛的研究人员开放技术访问，这对XR社区来说是个好消息。随着更多人获得Aria研究套件，Meta将获得更多的数据，这将有助于公司真正变革增强现实眼镜和软件。

尽管难以预测这项研究是否会加快Meta Orion眼镜对公众的发布。毕竟，如果Meta希望确保这些眼镜不会价格过高，还需要做额外的工作。由于其超先进的组件，目前每单位Orion眼镜的成本约为10,000美元。

然而，继续进行的Project Aria研究应该会塑造Meta的增强现实眼镜。无论我们最终得到的是Orion眼镜的独特版本还是完全不同东西，Aria都将铺平道路。

Meta的持续研究甚至可能意味着，Meta将开发出迄今为止市场上最先进、最用户友好且最强大的眼镜。