观风导读：周末特别适合深度阅读，尤其是当一个细分行业的新产品在逆市创造国内双十一和海外黑色星期五爆款销量一样，我不禁问自己几个问题：

- AR眼镜会不会成为本轮消费电子周期触底反弹的先锋？

- AR眼镜比手机和AI-pin更时尚个性，又搭载上“贾维斯”，会不会双厨狂喜

- 接下来几天双十二和北美圣诞节和新年会不会突发传来更大的销售捷报？

- 苹果Vision Pro发布后，会不会在2024年掀起新的“脱实入虚”消费浪潮

- “空间计算”、“光学透视OST”、“视频透视”会不会逐渐成为公社技术名词新一轮讨论热点！

今天，在北京量子位MEET2024智能未来大会上，Rokid创始人& CEO Misa发表了题为《Rokid，开启空间计算全球化时代》的演讲。

他提到，Rokid本质上是一家藏在精美硬件产品中的系统软件公司，不仅仅是AR，做的是AI+AR。他希望在未来的 3 到 5 年，Rokid能把所有人的眼镜都换成智能眼镜，就像现在所有的手机默认是智能手机一样。

Rokid自创立之初，就定位自己是一家“做新一代人机交互平台”的公司。基于以往多年的技术积累，在今年8月推出了空间计算平台Rokid AR Studio。

Misa重点介绍了Rokid所坚信的OST技术路线，以及花费4年打造的单目摄像头方案。他提到这样做的初心：一是为了做得更轻量化，更重要的是希望技术普惠所有人。他希望能用新的AI和AR技术来弥补人和科技之间的隔阂，让小孩子、老人都能自然和流畅地使用最新的技术。

对于空间计算，Misa谈到自己的理解：“空间计算的本质就是物理世界和数字世界的融合，以及在这种融合的前提下，如何用更自然、更易用的方式进行信息的展示和交流。”

Misa在现场为观众演示了Rokid空间计算的能力，包括空间屏幕、空间搜索、手势交互等。介绍Rokid在工业、企业办公、文旅、医疗、教育等多个行业的应用和进展。

最后他谈到Rokid的理念“Leave Nobody Behind”，希望用科技来造福人类。

以下为演讲实录整理：

谢谢大家，谢谢量子位，这是我今年唯一的一次公开的演讲。我刚才发了个朋友圈，前后左右全是讲 AI 的，所以我应不应该来这个讲台呢？实际上我觉得应该来，不仅仅是说我应该作为另外一个技术方向来跟大家进行分享，实际上我要跟大家讲的就是： AI 跟 AR 其实是一件事情。

我给大家分享一个故事，2014年，我离开阿里巴巴，那个时候大老板从美国飞回来，跟我有一个4个小时的沟通，为什么要离开阿里？沟通了很多很多东西，但本质上的一点我就跟他说，未来的20年有两件事情会改变人跟这个世界，一个是 AI，一个就是 AR，而我自己离开阿里巴巴，一个使命就是把这两件事情变成一件事情。

OK，所以为什么我说我今天来这里，如果大家了解Rokid 的背景，了解我自己的背景，了解 Rokid 历史，其实大家知道我是一个坚定的 AI 信仰者。我们在2014年的时候成立，今天Rokid被大家所理解到的或者感受到的是 AR，因为我们的眼镜作为一个硬件产品比较闪耀，大家可能看到，会认为 Rokid 是一家眼镜公司，但Rokid从来没有把自己定位成一家眼镜公司。

Rokid 从2014年成立，15年的时候我们就在北京和硅谷分别成立了两个实验室，A Lab 和 R Lab。A Lab 就是 AI，R Lab 就是 Reality，加在一起就是AR。所以大家看到Rokid从第一天起就没有隐瞒我们是一家什么样的公司。但只是因为Rokid本身有不断的产品迭代，从 AI 产品到 AR 产品的整个演进路线，所以大家经常容易被硬件的东西所抓住眼球，但实际上我希望大家知道 Rokid是做 AI 和 AR 的人机交互，新一代人机交互平台的一家公司。

这是我第一次跟大家正式阐述Rokid是一家什么样的公司，我记得2016年的时候跟董事会去讲这个，大家其实还是不大理解 AI 和 AR 为什么未来会是一个人机交互的平台？但现在已经没有人去怀疑这件事情。那另外大家也可以看到一个发展路径，就是我们从一些 b 端产品到 c 端产品的演进，这个本质上来讲，也正是因为这个行业在很早期，我们必须在很多领域里面进行细致、耐心的打磨，然后再将它推向消费者市场，所以这也是 Rokid，为什么会有这样的一个发展路径。

其实到今天为止，我们很多很新的技术，包括接下来我要讲到的spacial computing（空间计算）， hardware chipset（硬件芯片）， algorithm（算法），包括一些 operating systems（操作系统），其实都是不断的在进行打磨中，所有现在驱动这些变革的，大头仍旧在B端，而不是在C端，我们也不应该让 C 端来承担这么高的代价。

02

Rokid：一家隐藏在精美硬件产品中的系统软件公司

刚才我跟大家讲到Rokid是一家人机交互的平台公司，但实际上还有一个更简单的描述，就是——Rokid本质上是一家藏在精美硬件产品中的系统软件公司。因为我自己上一个创业在被阿里巴巴收购之前，是做操作系统的啊。所以我们是有非常强的操作系统基因。但 Rokid 现在给大家所感知到更多的是 Hardware，是我们的硬件，是我们的这个 AR 的产品，是我们的 AR 的一个 ecosystem（生态系统），为什么会这样？

因为这个行业特别早期，你没有办法在一个 operating system 或者ecosystem，没有办法在一个没有非常坚实硬件的基础上去展示它的能力。所以 Rokid 必须从最底层的东西去构建一个完整的全栈的一套能力。

Rokid也是今天在 AR 领域里面，在国内、哪怕是在全球，为数不多的拥有全栈能力的一家公司。首先关于芯片的平台，其实我们跟很多的芯片公司，包括刚才咱们演讲的高通，包括国内像海思，几乎所有的芯片公司都在跟 Rokid 讨论和制定 AR 芯片，讨论未来的芯片规格应该怎么做。甚至有的芯片公司的工程师就是在Rokid办工的，这也是我们的第一个能力。

我们首席科学家周军博士本来就是三星半导体研究所的所长，当时三星半导体研究所几乎有一半的精英加入Rokid。我们自己不做芯片的设计，也不做它的生产，我们更愿意的是将我们的系统和平台的诉求，能够告诉行业里走在前沿的这些芯片公司。

作为一个真正的AR 产品公司，我们需要一个什么样的芯片？包括 AI 和AR。另外我们要把我们的很多想法、能力变成解决方案，变成产品，给到每一个人，给到我们的客户，给到我们的用户。当然还有现在最热门的，我们把它叫多模态的AGI。

我们有语音、ALP，有这种生成式的内容。对于 AR 来讲还有这个 spacial computing，比如说 SLAM 空间定位等。那么这个跟 AI 有什么关系呢？ Rokid在 AI方面 的比重特别大，相比其他的传统的 AR 公司， Rokid 几乎很多能力都是用 AI 去重新定义和重新去发明过的，包括显示和硬件设计，这个是大家看得见摸得着的。

AR 的五种能力

我们来看AR 它涉及的能力。

第一个能力，是感知这个世界的能力。通过传感器，比如说camera（相机），通过microphone（麦克风）这些传感器来感知这个世界，这是第一个能力，这个跟半导体就有关系。

第二个能力就是去理解这个世界。当你感知到这个事情，你怎么去理解它？这个理解包括理解客观的物理世界，也包括理解人、理解人的意图、人跟人的关系以及他过去的行为习惯诸多的这些东西。

第三个东西是交互。就是当我理解这个世界之后，我怎样给人用更好的方式，更自然的方式去展现对这个世界理解的结果，以及怎么样提供有效的、有价值的信息给到用户，同时用更方便、更自然的方式去做这件事。这就是我说为什么 AI 和 AR 会改变未来的世界。

我们都知道现在AI 在生产内容，尤其是最近我们看到包括很多媒体的内容，图片、影像，包括3D的一些模型，这些东西都已经开始通过 AI 生成，还有很多文字。但这些丰富的内容，最后以一种什么样的方式给大家进行交互和展现，这个就是 AR 要去解决的这个问题，所以我们把它放在第三个就是交互的能力。

第四个是协同。大家都知道在虚拟世界跟真实世界怎么进行融合协同，那人跟人之间在虚拟和真实世界里面如何去协同？原来比如说社交网络，通常讲的是人和人在虚拟世界里的协同，那现在多了一个维度，就是人要跟虚拟世界的人，同时还有现实中的人，他的复杂度是提升了。虽然只是加了一个场景，但实际上是提升了一个数量级。所以协同如何做？

最后一个是数字内容创作。这是现在大家比较关注的Web3、 AGI 相关的这些东西，都在第五个能力里面。所以作为Rokid这样的新一代人机交互公司，它实际要涉及这五个方面的能力。这就是为什么过去 10 年 ，Rokid一直在打造这种全栈的能力。

空间计算后面会有很多感性的展示，但我跟大家讲，空间计算要回答一些问题，它才会真正进入到每一个人的生活。

第一个当然就是它的实时性。其实现在AGI、AI这些东西比较流行，我非常相信在未来， edge computing 边缘计算将会变得非常重要，尤其是 AI 和 edge computing 。这样的话就保证它的实时性，因为在空间计算领域里面是没有太多的空间去留给cloud computing（云计算） 去做延迟的，所以实时性就会变得非常非常重要。

第二个精度会变得非常重要。我们知道，如果你要做虚实融合，尤其是我们的技术路线是 OST （Optical see-through 光学透视） ，如何保证这个精度？一旦信息以空间的方式进行展示，对人的理解和处理能力是增加了负担。我们要知道人类花了可能 10 万年甚至更久的时间，去将真实的信息压缩成简单的信息，比如压缩成绘画，压缩成平面，压缩成符号，但是 AR 的这个时代，我们又重新将这些信息进行放大，在虚拟的世界里面进行放大，把数字化搬到我们眼前。

实际上对人来讲，如何更好地处理这些能力，其实是一个新的话题。人是不大擅长处理那么多复杂的东西。那如何保证新的交互能更舒服、更自然地获取到这些信息，理解这些信息？对我们来说也是挑战。

第三个是安全性。因为AR 这个时代，或者我们叫空间计算时代，人几乎能够 touch 到所有的东西，比如说你的物理世界，甚至包括你的意图，很多东西都是会被科技所掌握。那这个时候你如何保证个人的安全性？我们也要去回答。

第四个是个性化。每个人看到的东西不一样，每个人戴着眼镜会一样，每个人用的功能会不一样，他自己对知识的理解和意图也会有所不同，相同的话题他关注的点也有所不同。怎么样能够进行个性化的呈现和展示？

在未来的 3 到 5 年，Rokid将会有一个使命，就是把大家的眼镜换成智能眼镜，所有的眼镜默认就是智能的，就像现在所有的手机默认是智能的一样。

那这个时候我们每个人看到的这个舞台，你们所在的空间，每个人看到的东西是不一样的，你关注的东西也是不一样的，你参照的信息也是不同的。个性化如何做？这也是我们要去充分考虑的问题。

空间计算的本质就是物理世界和数字世界的融合，以及在这种融合的前提下，如何用更自然、更易用的方式进行信息的展示和交流。这是我们要说的东西。一方面是对物理世界和数字世界的理解、感知、融合，一方面是怎么样让人跟这个融合后的世界进行互动。要解决是要解决这两个问题。

空间计算是什么？

包括空间的视觉，就是怎么把信息在物理世界里进行布置展示，跟真实物理世界进行互动和融合。也包括空间的听觉，就是声音，虚拟的声音应该跟真实物体的声音来自一个方向，同样的力度，模拟它在真实空间里的感受。包括传统的信息，比如说二维信息，书、浏览器。像 Vision Pro 在年中的时候展示的，旧的生态系统里面的内容，怎么在新的空间里展示，如何进行更有效的交互？大家都知道二维世界里面的交互是比较简单的，触控即所得，所见即所得。

如果你要去操作空间中的物体和空间中的信息，其实是非常复杂的。那 Vision Pro 眼手联动，Rokid也有大量的这个东西——微手势、头手联动，眼手联动也会成为一个大的未来。

这个会长成什么样？就开始有一个大的分歧，前面都没分歧，那今天在行业里面有两个技术路线，一个是以 Apple 为代表的VST叫 Video see-through（视频透视），它的本质上来讲还是把你包在一个纯粹的数字世界，物理世界是通过传感器可以数字化，把物理世界在虚拟世界里面进行重建。

这是VST 的路线， Rokid是不碰 VST 的路线，我们本质上就不大认可这个路线。虽然这个路线有很多优势，而且长期的两者会共存。但是我们坚信的路线还是轻量化，让大家能够用肉眼去感知真实的世界，将数字的世界在真实世界进行叠加。有没有对错？短期不会有，谁是更好，谁不好，这个还是交给时间去解决。但 Rokid是 OST 的坚定信仰者，让人用肉眼去看到真实的世界，是我们的一个底线。

这是我们在今年8月 26 号提出的空间计算套装，这里面用的是高通的XR 2+芯片，所以它的算力也是非常强的。先给大家看一段展示的视频，很炫酷，像个科幻片吗？这个视频里面所有的东西都可以去体验，所以不是一个 story，Rokid从来不讲story，一旦我们讲出来的东西一定是我们全部完成的东西。以后如果在公开的场合看到 Rokid讲的任何东西，你们都要相信他一定是一个，你们马上就可以看得见摸得着的东西。

讲了这么多，回到咱们今天的主题，Rokid为什么会来这个 AI 的大会。首先大家知道 Rokid有一个很核心的技术，我们大概花了四年的时间做的研究成果——就是用 one single camera（单目摄像头）， RGB camera 做整个空间的识别和 3D 的手势。其实你用一个眼睛是没有办法感知空间和深度的，大家可以试试看，蒙住一个眼睛去做这个事情。原来我们也一直认为这是不可能的任务，实际上到今天为止，仍然有很多人在质疑这个东西，直到 Rokid产品扔在他眼前，他才接受了，原来这个是可以做到的。

但这里面没有黑魔法，只有一个东西，它所有的深度信息是靠AI 生成。你的手的信息，整个空间信息全部靠 AI 生成。所以虽然它是一个空间计算的技术，但里面有 70%- 80% 是用来做 AI 计算。这就是为什么说我今天来这里并没有打乱整个大会的主题。

one single camera for everything，我们叫 soft define everything，这是 Rokid的一个理念，软件定义一切。大家都知道，如果你要做成普通的眼镜形态，你是没有办法往上面堆传感器的，所以你只能通过软件定义所有的东西。这个不是 Rokid的技术偏好，是一旦我们选择了这个路线和我们的理念之后，不得不做的权衡。正是因为这个，我们要付出太多的努力。其实要想得到很好的体验，最简单的方式就是堆硬件，堆传感器，堆成本。

Rokid要做的事一方面是为了做得更轻量化，更重要的还是希望这个技术能够普惠所有人。我们不想卖几万块钱，我们希望几乎每一个人能够用他能够承受得起的代价得到这个产品。所以这也是 Rokid为什么要选择这样的技术路线。但这个技术路线非常难，每减一颗 传感器就要带来巨大的软件计算和 AI 训练。

得益于最近这两年边缘计算在 AI ，在端上的推理能力，我相信在未来的一年到两年，甚至可以做到超过百亿规模的大模型。我100% 相信，所以 Rokid也是 AI 在边缘计算的充分信仰者。

再强调一遍，XR 一定是越来越强调边缘计算端上的计算能力。因为大家都知道手机可以有延迟，我划的慢一点，没有太大的问题。但如果你在眼镜上面慢一点的话，所有人在 5 分钟之内就要晕趴下了。这个是物理上决定的，给我们设定了一个巨大的门槛——它是没有办法做 70 分以下的体验的，甚至没有办法做 80 分以下的体验，这个会非常非常强调 AI 的能力，在边缘去处理这些信息的能力。

大家可以看到基于one single camera，我们有厘米级的定位精度——如果带着这个眼镜，我在这个空间里面放一个物体，你从外面走一圈回来，这个物体漂移要在厘米范围内。这个延迟在 20 毫秒以内， 20 毫秒就意味着人和信息的互动，它的延迟不能够高于 20 毫秒，因为人的延迟感知晕线就在 20 毫秒，一旦超过，它就会非常强烈的变化。手势方面也是一样，通过 one single camera 我们可以做到厘米级的贴合。如果大家来用我们的产品，就会发现你的手和数字的手之间的差别就在一个关节不到，几乎是贴合的，远远超过以前大家所知道的 Hololens 的手势精度。

我们只是用了一颗普通的摄像头，没有加任何的深度摄像头去做，全靠 AI 的方式去做。

回到Rokid 本身的能力，Rokid OS是从AOSP开始，我2007年回国开始做 operating assistant，底层不需要重新造轮子了。AOSP还是安卓的基座，往上几乎所有能力都做了重建。 Rokid 可能是现在支持XR的 engine（引擎） 最完整的一家公司。

我们支持了cocOS，我们支持了unity，我们支持了webXR，我们支持了 hololens 的MRTK，我们还全栈的支持了 openXR。因为我们全栈的支持 openXR，所以很多国内的 graphics engine（图像引擎）公司比如粒界也和我们有合作。我们也是唯一一个把国内这个闭环最后一个环节走完的公司，我非常自豪地弥补了在 OS 和 Graphics engine 之间的空白。

这个其实是蛮值得大家关注的一件事情，就意味着在这个领域里开始有自己选择的权利。当然上层还有很多的tool（工具），包括最近我们还帮 Unity 做了 JS 的engine，很多外部开发者可以不需要懂JAVA、C++，就可以用最熟悉的前端语言来进行开发，我们很多开发者大概在一个月之内，就可以完成产品的设计、开发和部署。

这也是为什么我们要做操作系统。大家知道新的体验最终一定需要新的操作系统去支撑，是没有办法在一个旧的操作系统上去补出一个全新的体验。

06

空间计算的模样

空间即屏幕。大家如果去我们公司看，这是我正常的工作方式。我已经不用电脑的屏幕，（用Rokid的眼镜）基本上就是一个屏幕是浏览器，一个屏幕是钉钉，一个屏幕是微信，一个屏幕是我的 source code（源代码），我自己每天还写代码。还有一个 b 站视频。

通常我的空间里面会摆 5 个屏，在 To B 的应用里，它可以把指挥中心挪到家里去。不管是工业、政府安保、消防还是医疗，就可以变成这样，就跟钢铁侠一模一样。

这是Rokid 的空间搜索，基本上就是把钢铁侠想象的故事搬过来了，这里面也用到了 AI 的能力。如果大家戴上眼镜进入空间搜索，说“搜索XR”，或者“搜索Rokid，搜索量子位，搜索AI”，那大家就可以看到你的空中，你的空间里面就会铺满这些信息。这些信息原来的做法在手机上，因为屏幕受限，所以它是一个瀑布流的方式，那现在所有的信息一次性展现在你面前。跟你最相关的离你最近，相关性比较差的离你远一点。当你去选中任何一个当前的信息的时候，它背后的所有信息都会因为你这个动作，根据大模型上下文重新做选择。也谢谢Microsoft 把 Bing 的这个接口对 Rokid进行了开放，背后也是直接接入了大模型，也是跟这个大会主题又重新结合上了。

接下来我们还会有淘宝的搜索，b 站的搜索，都会有这种空间的方式全部加入进来。包括未来它会改变直播，改变短视频的展示方式个非常非常有趣，这个值得大家关注。

我们还可以帮助大家通过普通的手机，看到AR效果。今天你拿着手机拍一段视频，就是正常的视频，没有 3D 信息，没有深度信息的视频，到我们灵境ARMaz平台上会自动生成3D模型，在这里可以布置成一个数字的乐园。上传半个小时之后，就可以看到你家里的3D模型，可以在你家里布置一个虚拟的花瓶，虚拟的宠物，放一只恐龙，放一个虚拟的男女朋友，可以戴上眼镜，或者用手机可以看到整个空间里的虚实融合的东西。

我们最快部署基本上在半个小时完成，这个技术将会很快在钉钉里面，大概在明年一月份向所有人开发，在座各位如果安装了钉钉，升级到最新版本，扫码的上面加了一个icon叫做AR，如果看到，恭喜你们，你们就是最新的版本，就可以玩这个东西了。

另外Rokid也有大量的生态，包括Uinty，包括刚才讲到很多开发者都可以参与进来。Rokid在8月26日开放spacial computing platform，开发者社区到现在有2000多个开发者，其中有1000多个企业，应该是国内最大的AR开发者的社区了。我们会提供很多能力，多模态交互的能力，原子算法的能力，各种编辑和方便开发的工具，以及多生态的支持。

更重要的是把所有的原子能力对大家进行开放，所有算子的能力，所有算法输出的单一结果，大家都可以单一拿出来使用，比如只抽取手势，只抽取一些基础原子能力和结果来组装成自己开发的东西，所以我们也有非常多有趣的应用在开发，基本上每天都有新应用上线，这是我非常开心的一件事情。有很多很有趣的东西，有教育的，有医疗的，甚至有很多完全没想到的，尤其是最近还有人在上面开发出做模拟手术的，真的非常惊人。

Rokid还在做什么，我们有公共服务，我非常自豪，人类历史上第一个上太空正式服役的AR产品就是来自我们Rokid，产品在工业、企业、文旅等领域都有应用。

国家200多个二级以上博物馆，我们有150家合作。教育行业已经有40几所学校现在开始使用空间计算的方式，对小孩子进行科普教育，一些K12的教育已经使用这样的方式来做。

Rokid前一阵子比较热门的东西，就是小孩子戴上 AR 的眼镜，在商场里面去玩奥特曼，玩空间竞赛的游戏。我们刚刚推出，就破了当时在杭州西溪印象城中庭的使用记录，那一天付费的家庭就超过 500 人。在我今天上台之前，我们刚刚在常州，一个不大的城市也破了一个纪录，就同样是空间计算的体验展，有超过1万人使用这个产品，所以它已经开始慢慢进入老百姓的生活。

医疗跟大家讲一下，我们现在在医疗手术远程协助上，已经治疗和挽救了几百人的生命。院前急救，病人在救护车上，医院的专家直接远程参与治疗方案，远程协助。

也欢迎生态里面合作伙伴参与到Rokid整个大的玩家生态里面来，期待更多人的参与Rokid。

最后再讲一个Rokid的理念，是希望科技用来造福人类，我们希望用新的AI和AR技术来弥补人和高科技之间的隔阂，让小孩子，让没有科技背景的老人都能够很自然和流畅的使用最新的技术，不管是AGI还是AR，还是科技的能力。

我再做一个判断，今年是AI的热年，大家觉得XR是下行的，AR是上行的，我一直跟大家强调XR和AI是一件事情，我可以向大家保证，明年XR是一个大年，如果不出意外，明年XR的热度将会抢过AI的热度。

感谢各位，谢谢大家，都支持Rokid，多支持XR。