纽约州立大学用模仿学习方法将AR智能化,提高人与机器人交互体验

标签:AR智能
分享到:

现如今,机器人被越来越多地应用于制造业和仓储物流领域。但是,在这些工作环境中,工作人员与机器人的活动空间通常被隔离开。因此,如何使人类与机器人之间产生互动尤为重要。

人类与机器人的交流方式不同。具体来说,人类习惯使用语言和手势进行交流。而机器人则以数字形式交换信息,如,文本命令。这有可能导致人类与机器人之间的交流产生偏差。

增强现实(AR,Augmented Reality)技术能够将机器人的行为可视化,从而弥补机器人与人类之间的沟通障碍。不仅如此,AR 还提供了高带宽和模糊性低的可替代通信机制。

目前,基于 AR 的可视化系统都是由人工设计的,会出现可视化信息太多或太少的情况。当可视化信息太少时,用户会发现 AR 界面无法发挥作用;当可视化信息过多时,对用户来说,处理相应的信息便相对困难。

为了使人类与多机器人之间能够产生更好的交互体验,研究者用模仿学习方法实现了 AR 的智能化,开发出名为“模仿学习式 AR 可视化”(VARIL,Visualizations for Augmented Reality using Imitation Learning)技术框架。

图 | 相关论文(来源:CoRL)

近日,相关论文以《用于人机协作的 AR 可视化学习策略》(Learning Visualization Policies of Augmented Reality for Human-Robot Collaboration)为题,在机器人学习大会(CoRL,Conference on Robot Learning)上发表[1]。

美国纽约州立大学宾汉姆顿分校计算机科学系在读博士生基山·坚登(Kishan Chandan)、本科生杰克·艾伯森(Jack Albertson)、张世琦教授为论文作者。

VARIL 技术辅助人与机器人之间进行有效互动

VARIL 技术能够辅助人与机器人之间进行有效的互动。它通过分析机器人和人的状态决策哪些信息、什么时间、以什么形式被可视化。

图 | VARIL 框架(来源:CoRL)

具体来讲,VARIL 技术可以用 AR 接口同时跟踪多个机器人状态、动态选择 AR 可视化动作,包括 AR 帮助搬运工人感知机器人的位置和规划运动轨迹等。

在 VARIL 中有两个不同的人类实体,一个是人类工作者的角色,另一个是人类专家。假设一组机器人与一个人类在同一空间工作。这组机器人不断使用 AR 接口共享状态和计划。与此同时,人类能够使用该 AR 接口跟踪机器人团队的状态。

人类工人与机器人团队合作,同时完成任务。在进行 VARIL 技术演示的过程中,人类专家参与进来,负责指示在特定时间内可视化(或不可视化)哪些信息。

一旦生成新的策略,AR 智能设备就会更新可视化信息,模仿人类专家演示者建议的操作。值得注意的是,专家只在策略学习阶段参与进来,一旦智能设备学习到相关的策略,就不再需要人类专家。

在不同的 AR 可视化策略下完成任务

论文中提到,为探究虚拟人与机器人在不同的 AR 可视化策略下完成任务的情况,研究人员创建出用于模拟仓库环境的演示平台(具有内置实验室)。平台不仅便于人类与机器人相互协作,而且可以对 VARIL 框架进行经验评估。

图 | 虚拟人与机器人在不同的 AR 可视化策略下完成任务(来源:CoRL)

在虚拟的仓库环境中,研究人员设定 12 个机器人与 1 个虚拟人类合作完成系统交付的任务。机器人的任务是将物体运送到不同的地点(卸货站),人类帮助等待在卸货站的机器人卸货。

图 | 两种不同规模的仓库环境(来源:CoRL)

在没有 AR 可视化的情况下,人类工人无法获取机器人的位置以及了解机器人计划做什么;在 AR 完全可视化的情况下,虚拟人类可能会被视觉指标淹没;在模仿学习 AR 可视化(VARIL)的情况下,AR 软件机器人使用学习到的策略,根据人类和机器人的交互动态确定可视化策略。

完成任务后,研究人员收集了 6000 个“状态-动作”成对数据集。他们还用迭代模仿学习算法在该数据集中训练 AR 智能化设备。

然后,他们将两种可视化策略进行了比较。结果表明,随着模仿学习迭代次数的增加,行动与策略之间的冲突急剧减少。此外,初始策略与训练后获得的策略相比,后者可减少机器人的等待时间。

之后,研究者还用 25 个真实参与者评估了 VARIL 是如何影响用户体验的。在仓库中,每个参与者都被要求操作一个虚拟人,并填写一份主观评价调查问卷。

图 | ARROCH 和 CRMIAR 两种可视化系统(来源:CoRL)

真实人类参与者的实验结果表明,与文献中的两种可视化系统(对照组)生成的基线相比,VARIL 技术能够显著提高人类与机器人交互效率,同时减少人类用户的分心水平。

除了定性评估外,研究者还比较了人类学习期间的任务完成时间。结果显示,VARIL 技术能够使人类与多机器人协作团队的任务完成效率显著提升,使机器人等待卸货的时间降低了 15%。

虽然研究人员使用机器人演示 AR 人机交互系统,但是在真实世界中构建和评估这种系统十分困难。

因为,人类工作人员需要在投递站之间行走。在投递站中,每个导航操作都可能需要很长时间。更复杂的是,机器人需要实时合作来完成任务,如果其中一个机器人被困在动态障碍上,可能会提前终止试验。

开源模拟器可以模拟仓库环境,避免出现上述问题。尽管这样的模拟器并不能克服人机协作的所有挑战,但它能够令 AR 研究人员专注于设计算法,而不是繁琐的软件开发工作。

未来,研究团队还将通过问卷调查的方式进一步评估 VARIL 的用户体验,并优化 VR 人机协作系统。

继续阅读
18.45亿户连接数!我国“物超人”到底带来了什么?

走进家门的那一刻,全屋启动智能回家模式,空气自动净化、空调自动调节温度;戴上智能手环,随时测测心率、记录运动步数和消耗的热量;乘坐自动驾驶巴士,路上灵巧避让车辆、到站自动停靠……这些充满智慧的生活新体验,均得益于移动物联网的发展。

智能机器人护航青藏高原铁路春运安全

1月14日电(记者王浡 解统强)2023年春运大幕拉开,中国铁路青藏集团有限公司西宁车辆段动车运用车间也迎来一年中最忙碌的时段。与以往不同,眼下车间里多了两台高科技动车组智能检修机器人。

拥抱智能技术 让城市更安全

公共安全是社区和公民的首要任务,尤其是生活在大都市地区的人。虽然像公共安全这样复杂的问题并不容易解决,但世界各地的城市都在打破常规,制定计划,建设更安全的社区。对许多人来说,这包括拥抱智能技术。

智能工厂和离散自动化连接的基础知识

智能工厂是将允许数字化的制造或生产的所有方面数字化的设施。这种操作通过连接的设备和系统持续记录数据,然后传播这些数据,使机器能够运行自我优化程序。此类程序有助于工厂缩短给定最终产品的生产时间、主动预防机械问题,并简化相互关联的制造任务。构建智能工厂的综合方法利用云工具、人工智能、工业物联网和大数据分析来监控供应链预测,并触发生产线做出响应,其适应性越来越强。

智能机器人有哪些显著特征?

智能机械是一种具有代表性的智能化系统,至少需要具备以下三个要素,一种能够识别周边状况的知觉因素;二是对外部环境作出响应的活动因素;三是,依据感官因素所获得的资讯,来考虑采取何种行动的思考要素。

精彩活动