AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

标签:AI
分享到:

AI“看”了一眼 GitHub上人类都是怎么提交更新 (commit) 的,然后就模仿 人类程序员修改代码……

最终,这个AI还成功“调教”出了个 智能体机器人:

[2D9M}{8B~}BE8V[1WCD4YD

没开玩笑,这种 细思极恐的事情,在 OpenAI最新发布的一项研究中,就真真的发生了……

U1)HZ3SN}[NXAC83}}T${5Q

原本呢,研究人员要解决的是一个遗传程序设计 (GP) 问题——让一个智能体机器人学会移动。

(GP是演化计算中的一个特殊领域,它主要针对自动构建程序去独立解决问题。)

但OpenAI剑走偏锋,把自家的大规模语言模型 (LLM) 放了进来,结果就是一个大大的“万万没想到”。

以前在智能体演进的过程中,人类研究员是需要参与进来做一些细节调整、确定演进方向等工作,让智能体往好的方向发展。

现在好了,这些活儿都让大模型给包揽了, 自己学、 自己写代码、 自己去“调教”

这事一经论文一作Joel Lehman在网络曝光,瞬间引发了网友们的大量关注:

一位程序员网友在看完后直呼“跟不上 (技术) 发展的步伐”了:

甚至OpenAI自己都在研究中说:

弥合了进化算法在人类思想水平运行的鸿沟。

那么这件“魔幻”的事情,AI到底是怎么办到的?

看一眼GitHub,AI自己动手敲代码

在虚拟环境中设计可移动的机器人,是遗传算法研究中很火的一个项目。

特别是 Sodarace竞赛因为需要的计算量少,过程方便可视化很受欢迎。

规则很简单,由“关节”和“肌肉”组成的机器人在各种地形上赛跑。

OpenAI还特意把整个竞赛程序从专用的遗传编码改写成了Python版本,为了展示新方法对现代编程语言的通用性。

比如这样一段Python代码,就可以作为初始种子机器人。

定义好一个正方形的四个顶点关节、终点关节,相互之间都用“肌肉”连接好后,结果如下。

不过这样方方正正的结构一动都不能动,接下来就需要靠遗传算法对代码做修改。

研究团队认为,用传统遗传算法修改代码VS人类程序员自己动手,在效率上还有两点差距:

一个是软件越来越复杂,人类可以搞模块化的代码复用来应对,而目前最先进的遗传算法也无法在人类使用的编程语言上做到这一点。

另一个是几乎所有遗传算法靠的都是随机突变 (mutation) ,而人类程序员每一次修改代码都带有目的,或者是增加功能、或者是改进效率、又或者是修复bug。

那么有没有办法让AI学习到人类是如何修改代码的呢?

还真有,所需的训练数据都存在GitHub上。

优秀的程序员每次提交代码都会写好commit描述,说清楚这一次提交修改了什么内容。

commit描述配合上提交前后代码对比的diff数据,就是AI绝佳的学习材料。

研究人员筛选出一些描述意图明确、修改的代码量不大的提交数据来训练一个GPT-3架构的AI模型。

相当于让AI向人类程序员学习了如何有目的的修改一段代码。

这篇论文所用的模型也不需要完全版GPT-3的1750亿参数那么大,最高7.5亿参数就足以。

由此得到了基础的AI模型,将在遗传算法中扮演变异算子的角色。

接下来让AI自己设计新机器人的流程总共分三步。

第一步,先用经典的MAP-Elites算法生成一组初始机器人。

这是一种QD (质量多样性) 算法,可以保证机器人行为不同且质量都很高。

第二步,用第一步产生的初始数据做预训练,让AI先学会设计出训练数据分布内的机器人。

也就是开头处那张在网上惊艳了众人的动图,展示了AI如何一步步把无法移动的“方块”改造成双腿交替弹跳移动机器人。

第三步,再结合上强化学习算法做微调,让AI能根据不同地形条件生成能适应环境的机器人。

最终,研究人员选取了从最初的三个种子进化而来的机器人做效果展示。

可以看出它们的结构和移动方式都完全不同。

网友惊呼“思路清奇”

这项研究一经公布,可谓是一石激起千层浪。

许多网友都惊叹于这种“大模型+演进算法”结合的新奇方式:

做过与之相关工作的研究人员也表示,从未想过能用大模型以diffs的形式来学习突变:

而除了对研究形式和本身的讨论之外,也有网友配上了这样图:

Emmm……是有点那种味了。

团队介绍

这项研究的团队成员均来自OpenAI。

论文一作是Joel Lehman,是一位机器学习科学家。其聚焦的领域包括人工智能安全、强化学习和开放式搜索算法。

与此同时,Joel Lehman此前基于对人工智能发展的思考合写过一本科学读物《为什么伟大不能被计划出来:客观的秘密》:

而对于这项研究的下一步,Joel Lehman本人表示:

还有一个重要问题,就是模型能够多大程度上应用到其它环境中。

GP中的突变功效现在可以通过ELM大幅提高,这将激发出一系列广泛的新应用和研究方向。

那么这项研究是否也对你产生了新的启发呢?

继续阅读
AI机器人活了?

谷歌公司里边有一个负责跟人工智能对话,那个工程师在社交媒体上更新了一个帖子,就把自己跟谷歌AI对话的内容贴出来,这时候世界炸锅了...

AI量化技术——曾经的未来,现在的流行

曾几何时,我们从科幻电影中看到AI人工智能技术时认为还是如此的不可思议,如此的遥远。但随时时间的推移,技术的进步,AI已经逐步融入我们的生活中,AI使得我们的工作生活更加的便捷。AI量化技术更是在金融业内引领了巨大的革新。

迎接边缘 AI 挑战

AI 技术愈来愈受欢迎,在汽车、视觉处理和电信等领域的应用也越来越多。目前,AI 正在通过实现众多新功能来取代许多传统算法,例如为智能手机摄像头提供去噪和图像稳定功能。

医疗AI的未来发展:值得关注的3大趋势

当新冠疫情肆虐、人们心理健康出现危机、医疗成本上升、人口老龄化各种趋势交织出现的时候,行业领导者们加快了开发医疗专用AI应用的步伐,其中一个来自风投市场的信号显示:超过40家初创公司筹集了大量资金(超过2000万美金)用于打造医疗AI解决方案,但是到底AI是如何用于医疗行业中的呢?

行业应用加速落地,5G+AI催化物联网蝶变

新冠肺炎疫情防控期间,数字技术与线上经济以前所未有的广度和深度向全社会渗透。物联网作为将物理世界映射到数字世界的桥梁,正在从万物互联向万物智联迈进,在社会经济的数字化、智能化转型中扮演着越来越重要的角色

精彩活动