戴上AR眼镜·与未来交互原创

标签:AR
分享到:

在元宇宙概念火爆的当下,XR硬件设备作为进入元宇宙这一未来世界的重要“入场券”,在短时间内受到了各大科技企业的关注。Rokid作为专注于人机交互技术与人工智能硬件研发的科技企业,在AR眼镜的研发道路上深耕已久,并积累了大量的技术实践经验。

在不久前由51CTO举办的MetaCon元宇宙技术大会上,Rokid产品技术总监赵维奇带来了《戴上AR眼镜·与未来交互》专题演讲,重点介绍了Rokid如何借助AI与5G技术的融合,对AR眼镜进行赋能,以实现3D空间的虚实结合与沉浸感升级。51CTO将本次分享的核心内容进行了整理,希望能给大家带来一些启发:

AR的使命是将真实世界与虚拟世界融合。利用AR技术创造场景下更自然的虚实结合交互,是Rokid一直的努力的方向。想要实现这一目标,则需要具备以下几方面的能力:

1.感知力:利用硬件上的传感器与模组以及软件上的各种应用功能,使用户能够更好地去获取环境和自身的相关信息。

2.理解力:借助AI技术,基于感知获得信息,包括对人的理解、对物体的理解、对环境的理解、对行为意图的理解,以及周边信息的理解。

3.协同能力:人类脱离不开社交与协作,每天我们都需要与人沟通合作。如何更好地、更低成本、更高效地协同在目前环境下异常重要。

4.展现力:更多的形式、多模态的内容呈现方式,例如2D音视频、3D的模型等,空间让更丰富的交互成为可能。

5.内容生产及数字资产管理能力:AR使平面升维到空间,这带来了大量的数字内容需求与数字资产管理要求。此情景下,高效生产和管理数字资产的能力是不必可少的。

Rokid通过软件、硬件能力的融合以实现这些的能力:

1.芯片:Rokid与国内头部企业海思共同开发了XR平台,提供了芯片平台等级的能力。

2.解决方案:Rokid在toC、toBtoC、toB与toG的各个行业,均有非常成熟的解决方案。

3.语音交互:Rokid深耕语音交互技术多年,在离线语音和精准识别上已经达到99%的准确率。

4.硬件:硬件设计是Rokid的强项,Rokid会结合ID、ME以及供应链,提供完善的硬件能力,以保证硬件设备拥有更高的舒适度以及更强的基础能力。

5.光学显示:Rokid提供全球领先的光波导技术,也将这一技术应用在了大量产品之中。

6.视觉算法:AR眼镜通过视觉算法了解、感知并理解环境,以此提供对应的内容呈现方式。

通过上述基础,Rokid能够更好地将AR与AI的能力进行融合。

细节方面,Rokid软件层提供了更加多模态的交互能力,包括兼容2D、3D生态的操作系统、功能丰富的SDK、便捷的开发工具,以及支持全球开发者的社区与应用发布平台。

无论是合作伙伴还是开发者,都能够方便快捷地应用这些能力。此外,在整体XR系统之中,Rokid始终坚持围绕AI与AR打造面向未来的技术能力。包括主流芯片平台、AR硬件平台,AR头环/头盔、单目/双目眼镜、一体/分体设备设计、消费级/工业级设备的配置与设计等。

Rokid在基础OS之上,拥有较为完善的感知系统与理解系统。感知系统目前已有多个引擎,包括平台支持、AI服务、AR服务以及云存储服务。同时,Rokid也为开发者提供了大量平台SDK与基础SDK,以便开发者在OS之上以及面向行业进行应用开发。

目前,Rokid已经拥有大量的合作伙伴,无论对于应用开发者、应用制作者、解决方案商或是系统集成商,Rokid都能够赋予其软硬件能力。借助这些能力,无论是toB、toBtoC还是toC场景下的应用,都能够轻松实现。Rokid打造了XR元宇宙的基础能力,以帮助人们在元宇宙环境下释放更多的创造力。

产品层面,Rokid也有着大量的积累与技术创新。

新发布的RokidAir,是面向toC市场的AR产品,拥有着轻巧便携、视角广阔、清晰度高等优势,两个高品质扬声器所带来的环绕立体声能够让音效更加震撼。同时,RokidAir还拥有着强大的语音交互能力,通过非常简单的语音指令就能够完成大量操作,真正实现解放使用者双手,让用户能够沉浸式享受AR带来的快乐。

除此之外,RokidAir支持500度以下的近视的调节,通过旋钮调节,近视用户也能够轻松使用这款产品。即插即用,适配手机与各类娱乐硬件设备的特性,也为RokidAir的使用带来了更高的灵活性与便捷性。

目前RokidAir的适用场景主要有以下几类:

1.音视频体验:RokidAir能够随时收纳,无论在家中、飞机上还是火车上,你都能够使用RokidAir连接手机与其他娱乐设备。此时,一个120寸的高清屏幕、一个独享私人版的巨幕影院就将呈现在你的面前。

2.游戏体验:Rokid应用商店拥有大量游戏内容,支持用户在真实世界里通过创造3D空间来完成游戏体验。此外,RokidAir也支持移动端游戏,包括连接游戏主机及游戏手柄。不但是手机,Switch、SteamDeck甚至PS,RokidAir都能够“照单全收”,并为用户带来低延时、高画质的巨屏享受。

RokidAirPro是一款toBtoC的AR产品,其与Rokid最大的不同点在于交互。第一,RokidAirPro拥有定向出音设计,用户自己所说的话只有自己能够听到,不会打扰到周边的人。此外,RokidAirPro提供了更多的交互功能。除语音交互外,由于RokidAirPro拥有摄像头,因此其能提供更加丰富的视觉识别功能。通过摄像头,RokidAirPro能识别更多场景并感知到周遭环境,以呈现和提供更加定制化和场景化的应用与交互。

目前RokidAirPro已在许多toBtoC的场景下进行了应用,包括各大博物馆与展览,RokidAirPro能够提供一种新的观展打开方式,原有的知识壁垒会被打破,用户的好奇心和求知欲将被充分调动。RokidAirPro能够让用户完全通过AR和AI能力享受更多展馆背后的知识的传播和体验。

Rokid与苏州博物馆和大英博物馆合作的国际导览项目,可以利用AR设备让用户方便、快捷地获取到来自大英博物馆展品背后的讲解。这是原来的导览员与讲解员很难做到的。除语音介绍外,AR设备还能够用视频、图文、3D模型的方式,将难以理解的部分海外文化讲解得更加透彻,让用户能够在短时间内更好地能获得所需知识,给用户带来更加优质的参观体验。

Rokid与腾讯及故宫合作的数字特展,让用户能够通过AR设备参观故宫中的知名的避暑的圣地——倦勤斋。通过AR的方式,用户能够环绕整个虚拟空间,一目了然地了解到故宫中建筑的外观形状、用料、颜色以及尺寸大小等以往难以观测到的建筑细节。这在一定程度上可以使故宫文化得到更好的传承和传播。

Rokid与故宫合作的另一个项目是故宫书画展。书画观赏的过程始终有一个痛点,就是人们只能看到表面,并不知道书画背后的故事,也无法看到书画所呈现的场景。通过AR的方式,我们能够将2D升维成3D,使用户能够看到书画的真实形态,用最简单和高效的方式去呈现书画背后、文化背后的故事与渊源。

Rokid与腾讯游戏合作的AR观影台对《英雄联盟》的游戏场景进行了复现,使用户能够通过AR眼镜看到一条巨龙从东方明珠上盘旋而下。此外,AR也能将游戏中的许多元素,包括比赛的现场、比赛选手特写以及一些重要的指标进行虚实结合,这也是目前AR主要的发展方向之一。

未来,Rokid希望能够更多地探索元宇宙领域,通过软件与硬件相结合的方式,将AR与AI两种能力结合起来,创造更实用、更智能、更自然的内容呈现解决方案与交互能力。为场景赋能、为场景下的用户赋能、为合作伙伴及开发者赋能。使用大家够在元宇宙的环境中获得更多样化、多模态的体验。

继续阅读
AR眼镜中的显示技术:虚拟超脱想象之外,包罗万象却基于现实

近几年,元宇宙如一阵热风,吹起了无数人对于“科技、梦幻与未来”的想象。随着“元宇宙”的火爆,作为其硬件载体的AR、VR设备成为了科技创新的重要领域之一。AR增强现实(Augmented Reality,简称AR),是指透过摄影机影像的位置及角度精算并加上图像分析技术,让屏幕上的虚拟世界能够与现实世界场景进行结合与交互的技术。

VR / AR 头显拥有量将激增,报告称专用元宇宙设备市场存量 2024 年将达 1 亿

10 月 8 日消息,今日,Strategy Analytics 发布报告称,随着对元宇宙投资的增长,专用元宇宙设备(VR 和 AR 头显)的拥有量将激增。到 2024 年,元宇宙设备的市场存量将从目前的 5000 万翻一番。

智能眼镜的回归:这次我们能看到AR过去的缺陷吗?

我们的口袋和手腕上已经有了电脑,在不久的将来,我们也会把它们绑在脸上。 硅谷的所有主要参与者都在努力开发将物理世界和数字世界融合在一起的增强现实 (AR) 眼镜,预计它们将在未来几年内投放市场。

苹果能否借以 AR / VR 掀起行业第三次变革

8 月 30 日消息,硬件领域正在迎来一场巨大变革,这可能与头盔或智能眼镜有关。为应对这场变革,同时吸引开发者,苹果正在同时构建两个不同的硬件平台。

元宇宙催化,VR/AR迎来新一轮热潮

随着多款新品的密集发布,VR/AR(虚拟现实/增强现实)正迎来新一轮发展热潮,中国本土VR/AR产业链加速成熟。

精彩活动