AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

标签:AI
分享到:

AI“看”了一眼 GitHub上人类都是怎么提交更新 (commit) 的,然后就模仿 人类程序员修改代码……

最终,这个AI还成功“调教”出了个 智能体机器人:

[2D9M}{8B~}BE8V[1WCD4YD

没开玩笑,这种 细思极恐的事情,在 OpenAI最新发布的一项研究中,就真真的发生了……

U1)HZ3SN}[NXAC83}}T${5Q

原本呢,研究人员要解决的是一个遗传程序设计 (GP) 问题——让一个智能体机器人学会移动。

(GP是演化计算中的一个特殊领域,它主要针对自动构建程序去独立解决问题。)

但OpenAI剑走偏锋,把自家的大规模语言模型 (LLM) 放了进来,结果就是一个大大的“万万没想到”。

以前在智能体演进的过程中,人类研究员是需要参与进来做一些细节调整、确定演进方向等工作,让智能体往好的方向发展。

现在好了,这些活儿都让大模型给包揽了, 自己学、 自己写代码、 自己去“调教”

这事一经论文一作Joel Lehman在网络曝光,瞬间引发了网友们的大量关注:

一位程序员网友在看完后直呼“跟不上 (技术) 发展的步伐”了:

甚至OpenAI自己都在研究中说:

弥合了进化算法在人类思想水平运行的鸿沟。

那么这件“魔幻”的事情,AI到底是怎么办到的?

看一眼GitHub,AI自己动手敲代码

在虚拟环境中设计可移动的机器人,是遗传算法研究中很火的一个项目。

特别是 Sodarace竞赛因为需要的计算量少,过程方便可视化很受欢迎。

规则很简单,由“关节”和“肌肉”组成的机器人在各种地形上赛跑。

OpenAI还特意把整个竞赛程序从专用的遗传编码改写成了Python版本,为了展示新方法对现代编程语言的通用性。

比如这样一段Python代码,就可以作为初始种子机器人。

定义好一个正方形的四个顶点关节、终点关节,相互之间都用“肌肉”连接好后,结果如下。

不过这样方方正正的结构一动都不能动,接下来就需要靠遗传算法对代码做修改。

研究团队认为,用传统遗传算法修改代码VS人类程序员自己动手,在效率上还有两点差距:

一个是软件越来越复杂,人类可以搞模块化的代码复用来应对,而目前最先进的遗传算法也无法在人类使用的编程语言上做到这一点。

另一个是几乎所有遗传算法靠的都是随机突变 (mutation) ,而人类程序员每一次修改代码都带有目的,或者是增加功能、或者是改进效率、又或者是修复bug。

那么有没有办法让AI学习到人类是如何修改代码的呢?

还真有,所需的训练数据都存在GitHub上。

优秀的程序员每次提交代码都会写好commit描述,说清楚这一次提交修改了什么内容。

commit描述配合上提交前后代码对比的diff数据,就是AI绝佳的学习材料。

研究人员筛选出一些描述意图明确、修改的代码量不大的提交数据来训练一个GPT-3架构的AI模型。

相当于让AI向人类程序员学习了如何有目的的修改一段代码。

这篇论文所用的模型也不需要完全版GPT-3的1750亿参数那么大,最高7.5亿参数就足以。

由此得到了基础的AI模型,将在遗传算法中扮演变异算子的角色。

接下来让AI自己设计新机器人的流程总共分三步。

第一步,先用经典的MAP-Elites算法生成一组初始机器人。

这是一种QD (质量多样性) 算法,可以保证机器人行为不同且质量都很高。

第二步,用第一步产生的初始数据做预训练,让AI先学会设计出训练数据分布内的机器人。

也就是开头处那张在网上惊艳了众人的动图,展示了AI如何一步步把无法移动的“方块”改造成双腿交替弹跳移动机器人。

第三步,再结合上强化学习算法做微调,让AI能根据不同地形条件生成能适应环境的机器人。

最终,研究人员选取了从最初的三个种子进化而来的机器人做效果展示。

可以看出它们的结构和移动方式都完全不同。

网友惊呼“思路清奇”

这项研究一经公布,可谓是一石激起千层浪。

许多网友都惊叹于这种“大模型+演进算法”结合的新奇方式:

做过与之相关工作的研究人员也表示,从未想过能用大模型以diffs的形式来学习突变:

而除了对研究形式和本身的讨论之外,也有网友配上了这样图:

Emmm……是有点那种味了。

团队介绍

这项研究的团队成员均来自OpenAI。

论文一作是Joel Lehman,是一位机器学习科学家。其聚焦的领域包括人工智能安全、强化学习和开放式搜索算法。

与此同时,Joel Lehman此前基于对人工智能发展的思考合写过一本科学读物《为什么伟大不能被计划出来:客观的秘密》:

而对于这项研究的下一步,Joel Lehman本人表示:

还有一个重要问题,就是模型能够多大程度上应用到其它环境中。

GP中的突变功效现在可以通过ELM大幅提高,这将激发出一系列广泛的新应用和研究方向。

那么这项研究是否也对你产生了新的启发呢?

继续阅读
AI也需要睡觉?研究发现:AI在睡眠后学习力可媲美人脑

AI(人工智能)一直都是人类当下的重点研究对象,目前,它在计算机领域内,得到了愈加广泛的重视,并在机器人,经济政治决策,控制系统,仿真系统中得到应用。

情感AI:为什么它是数字医疗的未来?

听说过情感AI吗?情感AI,是计算机科学的一个领域,帮助机器理解人类的情感。麻省理工学院媒体实验室和Rosalind Picard博士是这一领域的主要创新者。通过他们的工作,激发了帮助机器发展同理心的想法。

让AI走进工业应用的最大障碍是什么?

我相信人工智能(AI)、机器学习(ML)、贝叶斯优化、大数据和其他现代技术可以提高我们建模、理解和优化流程的能力;并且这些技术可以使行业走向操作和维护的自主性。这些是工业 4.0、工业物联网 (IIoT)、智能制造、智能仪器仪表、资产模型和数字孪生等流行语的核心要素。

机器意识:AI距离“觉醒”还有多远?

这个困扰了人类几千年的问题,此前似乎只属于哲学家和诗人的讨论范畴,但在今天已经越来越成为人工智能创业者们必须面对的问题。

AI公司如何改造缝纫机仓储?

智能制造的热潮之下,一台台机器人正在陆陆续续走进工厂车间里。它们不仅可以帮助工厂造车、造手机,也能帮助工厂更快更好地制衣帽、做鞋子。

精彩活动