专注AIGC领域的专业社区，关注OpenAI、百度文心一言等大语言模型（LLM）的发展和应用落地，关注LLM的基准评测和市场研究，欢迎关注！

10月21日，全球AI领导者英伟达（NVIDIA）在官网开源了Eureka，可自动训练实体机器人的动作指令，例如，转笔、开抽屉、使用剪刀等超复杂动作。

据悉，Eureka是基于OpenAI的GPT-4打造而成，具备零样本生成、编写代码和语境改进等能力，可对强化学习的奖励设计流程、代码进行大幅度优化，达到人类专家级水平。

研究人员通过10个不同类型机器人在IsaacGym 模拟器上进行了实验，结果显示，在 29 项任务中Eureka生成的奖励函数，83%的任务优于人类专家编写的指令，平均标准优化效率为52%。

开源地址：https://github.com/eureka-research/Eureka

论文：https://arxiv.org/abs/2310.12931

英伟达AI高级研究总监兼该论文作者Anima Anandkumar表示，在过去十年，强化学习取得了空前成功，但仍面临许多困难，例如，奖励设计需要不断试错才能完成。Eureka的出现开创了一种全新的算法，将生成式AI与强化学习相结合以实现更高的执行效率。

在介绍Eureka之前，先为大家简单讲解强化学习概念，以便更好地理解Eureka用途和技术原理。

什么是强化学习

强化学习（Reinforcement Learning）是机器学习的一种类型，其目标是让一个智能体（Agent）在与环境的交互中学习如何实现最优行为，以获取最大累积奖励。

在强化学习中，需智能体不断地从环境中获取状态，并在此基础上选择一个行动。环境对智能体的行动给出反馈，这个反馈称为“奖励”。强化学习的目标是找到一个最优的策略，关键元素包括智能体、环境、状态、行动和奖励。

例如，当你玩一个全新的电脑游戏时，需要不断的犯错和试验才能掌握游戏规则、通关技巧。当年战胜九段围棋高手李世石的AlphaGo，就是最典型的强化学习应用案例。

Eureka简单介绍

从上面的强化学习概念就能看出，想训练机器人执行各种动作，奖励机制是关键之一。传统方法是通过人类编写代码来完成，而Eureka是靠ChatGPT自动生成来完成。

首先，Eureka将未修改的环境源代码和语言任务描述作为上下文，使用ChatGPT从零开始生成可执行的奖励函数。然后，在演化奖励搜索、GPU加速奖励评估和奖励反思之间迭代，以逐步改进其奖励输出。

环境作为上下文：通过使用原始环境代码作为上下文，Eureka可以零样本生成合理的奖励，无需任何特定任务的提示。

这使得Eureka能够成为一个通用的奖励设计者，在所有的环境中，首次尝试时就能轻松产生奖励函数。

通过大规模并行强化学习进行快速奖励评估：Eureka利用NVIDIA Isaac Gym中的最先进的GPU加速模拟，能够快速评估大批奖励候选者的质量，从而实现在奖励函数空间中的可扩展搜索。

在奖励评估之后，Eureka构建了奖励反思，总结了强化学习训练的关键统计数据。接着，Eureka使用这个奖励反思使得ChatGPT能够灵活地利用多种独特类型的自由形式、有针对性的修改来改进奖励函数。

例如：改变现有奖励组件的超参数；改变现有奖励组件的功能形式以及引入新的奖励组件。

Eureka实验测试

研究人员对Eureka在多样化的实体机器人和任务中进行了全面评估，测试了其生成奖励函数、解决新任务等能力。

测试环境由由10个不同的机器人和29个使用IsaacGym模拟器实现的任务组成。首先，包括了来自IsaacGym（Isaac）的9个原始环境，涵盖了从四足动物、双足动物、四旋翼、协作机器人臂到灵巧手的多样化机器人形态。

除了对机器人形态因素的覆盖，还通过包含双手操作基准中的所有20个任务，确保了评估的深度。

包含20个复杂的双手任务，需要一对Shadow Hands解决从物体传递到将杯子旋转180度的一系列复杂操作技能。

结果显示，Eureka可以生成超过人类水平的奖励函数。在29个任务中，Eureka的奖励在83%的任务中，超过了人类专家编写的奖励函数，平均规范化改进为52%。尤其是在高维灵活性环境中，Eureka实现了更大的收益。

Eureka的进化奖励搜索，使得奖励随时间的持续改进成为可能。Eureka通过结合大规模奖励搜索和详细的奖励反馈反馈，逐渐产生更好的奖励。

此外，Eureka支持基于人类反馈的强化学习（RLHF）。Eureka可以融入人类反馈以修改其奖励函数，这可以极大提升智能体的安全行为，尽量避免一些非法操作。

本文素材来源英伟达官网、论文，如有侵权请联系删除

END