GPT-4o 能玩《黑神话：悟空》：精英怪胜率超人类，无强化学习纯大模型方案
AI 玩黑神话，第一个精英怪牯护院轻松拿捏啊。
阿里巴巴的研究人员们提出了一个新型 VARP（视觉动作角色扮演）智能体框架。它能直接将游戏截图作为输入，通过视觉语言模型推理，最终生成 Python 代码形式的动作，以此来操作游戏。
以玩《黑神话・悟空》为例，该智能体在 90% 简单和中等水平战斗场景中取胜。
GPT-4o、Claude 3.5 都来迎战
研究人员以《黑神话・悟空》为研究平台，一共定义了 12 个任务，75% 与战斗有关。
他们构建了一个人类操作数据集，包含键鼠操作和游戏截图，一共 1000 条有效数据。
每个操作都是由原子命令的各种组合组成的序列。原子命令包括轻攻、闪避、重攻击、回血等。
然后，他们提出了 VARP 智能体框架。主要包含动作规划系统和人类引导轨迹系统。
其中动作规划系统由情境库、动作库和人类引导库组成，利用 VLMs 进行动作推理和生成，引入分解特定任务的辅助模块和自我优化的动作生成模块。
人类引导轨迹系统利用人类操作数据改进智能体性能，对于困难任务，通过查询人类引导库获取相似截图和操作，生成新的人类引导动作。
同时 VARP 还包含 3 个库：情景库、动作库和人工引导库。这些库中存储了 agent 自我学习和人类指导的内容，可以进行检索和更新。
动作库中，“def new_func_a ()”表示动作计划系统生成的新动作，“def new_func_h ()”表示人导轨迹系统生成的动作。“def pre_func ()”代表预定义的动作。
动作案例研究和相应的游戏截图。第一行和第二行中的操作是预定义的函数。第三行动作由人工制导轨迹系统生成。
SOAG 会在玩家角色与敌人的每次战斗互动后总结第四行和第五行中的新动作，并将其存储在动作库中。
框架分别使用了 GPT-4o（2024-0513 版本）、Claude 3.5 Sonnet 和 Gemini 1.5 Pro。
对比人类和 AI 的表现结果，可以看到小怪部分 AI 们的表现达到人类玩家水平。
到了牯护院时，Claude 3.5 Sonnet 败下阵来，GPT-4o 胜率最高。
另外研究还提到，由于 VLMs 推理速度受到限制，是无法实时输入每一帧画面的。它只能间隔输入关键帧，这也会导致 AI 在一些情况下错过 boss 攻击的关键信息。
以及由于游戏中没有明确的道路引导且存在很多空气墙，在没有人类引导下，智能体也不能自已找到正确的路线。
One More Thing
AI 打游戏并不是一个新鲜事了，比如 AI 基于强化学习方法打《星际争霸 II》已经可以击败人类职业高手。
利用强化学习方案，往往需要输入大量对局。商汤此前训练的 DI-star（监督学习 + 强化学习），就用了“16 万场录像”和“1 亿局对战”。
但是纯大模型也能打游戏，还是很出乎意料的。在本项研究中，数据集中的有效数据为 1000 条。
- 1韩国MMO《夜鸦》计划年内开国服！同时新作正在筹备中
- 2RPG新作《权利的游戏：国王之路》公开预告视频 17日举办发布会
- 3热游情报：国Gal“妓女”女二引爆争议，《影之刃零》研发进入最后冲刺阶段
- 4《冒险岛怀旧服》国服突然官宣！公告解读！我们究竟什么时候可以玩上？
- 5确定了！《王者荣耀世界》官宣移动端定档4月17日公测
- 6还原度超高！知名韩国coser最新美图
- 7图个好游戏：十亿研发六年打磨，《王者荣耀世界》首日破亿热度，是真香还是翻车？
- 8《三角洲行动》新赛季最新爆料：联动《古墓丽影》！武器免费送
- 9去年NEXON韩国销售突破143亿元人民币 中国区销售额下滑
- 102026唯一新英雄？疑似《LOL》新英雄Locke技能细节泄露
- 2RPG新作《权利的游戏：国王之路》公开预告视频 17日举办发布会
