炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！
朱昆仑是伊利诺伊大学香槟分校（UIUC）计算机科学系的研究生，现隶属于Ulab与Blender Lab，曾在斯坦福大学、卡内基梅隆大学（CMU）与蒙特利尔学习算法研究所（Mila）进行学术访问。他的研究方向包括大语言模型（LLM）智能体、多智能体系统、AI科学家与工具学习等，在ICML、ICLR、ACL、TMLR等顶级会议与期刊发表论文10余篇，总引用超过1500次。 他积极参与多个广泛影响的开源项目，包括OpenManus(RL)、ChatDev（MACNET）、ToolBench 等，累计在 GitHub 上获得超过 5万+ stars。此外，他曾受邀在 AMD 开发者大会、阿里巴巴云栖大会等重要学术与工业会议中作报告，分享其在AI智能体方面的开源成果。
我们正在见证一个全新的时代：AI 的浪潮从强大的「个体」奔涌向复杂的「团队」，它们像人类团队一样协作开发软件、进行科学研究，甚至在虚拟世界中展开激烈的策略对抗。
然而，一个问题也随之浮出水面：我们如何判断这些 AI 团队是「三个臭皮匠，赛过诸葛亮」，还是「三个和尚没水喝」？
现有的评测基准，如AgentBench、GAIA 等，大多聚焦于单个智能体的推理和工具使用能力，却无法衡量多智能体系统内部至关重要的协作效率、沟通质量和竞争策略。这在 AI 能力评估领域，形成了一个巨大的「盲区」。
为了填补这一空白，来自伊利诺伊大学厄巴纳-香槟分校的研究者们，近日推出了 MultiAgentBench。该成果近日被自然语言处理顶级会议 ACL 2025 主会正式接收。
这不仅是一个评测集，更是首个能够全面、系统化地评估 LLM 多智能体系统协作与竞争能力的综合性基准。它不仅仅是一套「考题」，而更像一个「模拟真实社会动态的实验室」，旨在揭示多智能体协作的奥秘，并回答一系列关键问题：
图 1：MultiAgentBench 评估流程概览MARBLE 的主要贡献包括：
研究结果揭示了几个关键结论：在众多模型中，gpt-4o-mini 展现出最强的综合任务能力；在协作模式上，「图结构」的去中心化协作模式效率最高；而在规划策略上，相比于「小组讨论」等规划方法，「认知自演化规划」方法能有效提升任务达成率。更重要的是，实验观察到了智能体在复杂博弈中自发产生的「社会智慧」。
图 2：MARBLE 核心框架设计展示框架设计
MultiAgentBench 的核心在于其背后的协作引擎 MARBLE (Multi-agent coordination Backbone with LLM Engine)。它将评测重点从单个智能体能力拓展到智能体之间的关系动态与组织结构，使研究者能够系统性分析多智能体协作和对抗过程中的效率与行为模式。在多智能体系统中，如何高效组织和协作，可能与个体能力同样重要。
图 2 展示了 MARBLE 的整体架构，其中包含三个核心模块：
协作引擎
协作引擎作为整个系统的大脑中枢，负责整合并调度所有模块，明确区分「规划者」(Planners) 和「执行者」(Actors) 的角色。这种分工帮助实现从整体规划到具体执行的顺畅衔接，使评测能够更好地观测协作效率与执行效果。
智能体图
智能体图模块不仅记录智能体是谁，还通过 (agent1, 关系, agent2) 的三元组形式，建立起智能体之间的关系网络，包括「协作」、「监督」等。这种结构化关系使得智能体之间的互动具有可控性和方向性，更接近真实团队中的组织架构。
认知模块
认知模块为每个智能体提供个性化信息、独立的记忆，以及多样化的推理方式，使其能够根据上下文和交互过程灵活调整策略，而非简单执行固定指令。这一设计使智能体在多智能体环境中展现出更具适应性和灵活度的行为，为研究智能体间协作与互动提供了支持。
交互策略与环境
图 3：(a) 协作协议（如星型、树型、图结构与链式）；(b) 规划策略。交互策略
MARBLE 框架内置了四种协作协议，如图 3 所示，包括中心化协议（星型、树型）与去中心化协议（图型、链型），来模拟现实世界中典型的团队协作模式。
评测场景
MultiAgentBench 设计了六个覆盖不同领域的评测场景，全面模拟了从团队合作到利益冲突的各种应用环境：
评价指标
图 4：基准创建过程及动态里程碑检测机制。任务完成度
协作质量
这是对团队「软实力」的量化评估，由两个核心分数构成：
实验结论
高效的协作 ≠ 优异的成果，个体能力是基石
表 1：Minecraft、Database、Coding、Bargaining 与 Werewolf 五个场景中的平均 TS 与协作 CS。在三个任务场景中，均为同一模型同时取得最高 TS 与 CS，表明 CS 是衡量 TS 的良好指标。
沟通顺畅、配合默契的 AI 团队是否就能更加高质量地完成任务？直觉告诉我们「是的」，但实验数据（如表 1 所示）却指出——在多智能体系统中，协作与个体能力并非总能齐头并进。
例如，在 Minecraft 任务中，Meta-Llama-3.1-70B 模型展现出了高达 75.00 的 CS，但其最终的 TS 仅为 0.21。协作分高，意味着智能体之间在频繁、清晰地沟通，并严格遵循着既定规划。但如果单个智能体的某项执行能力存在根本性缺陷，那么再完美的沟通和规划，也是空中楼阁。
这表明，在当前阶段，多智能体系统的性能瓶颈首先在于单个智能体的核心能力。协作是能力的「放大器」，而非能力的「替代品」。
AI 团队的「组织内耗」：警惕冗余层级与无效讨论
图 5：不同协作协议在多种评估指标下的表现。
图 6：不同规划提示策略下研究任务的平均指标。认知自演化规划在 CS 上表现最佳。如图 5 所示，在四种协作协议中，图结构这种允许所有智能体自由沟通、并行协作的模式，在任务得分、规划质量和效率上全面占优，紧随其后的是星型，而表现最差的是树型结构，其层级过多的设计，导致沟通成本和信息损耗急剧增加，任务得分和协作分均为最低。这表明，对于需要复杂协作的任务，扁平、去中心化的组织架构比层级结构更有效。
如图 6 所示，一个反直觉的结论出现了：让多个 AI 规划师进行「小组讨论」，效果竟是所有策略中最差的。这或许说明，当前阶段的 AI 的小组讨论不仅没能集思广益，反而可能陷入「集体降智」。与之形成对比的是，进行「认知自演化规划」的智能体表现出最佳的协作能力。这种策略的核心在于「复盘」——从过去的成败中学习，动态调整策略，实现持续进化。对于 AI 团队而言，一个懂得自我迭代和反思的「大脑」，比一场七嘴八舌的「头脑风暴」更加宝贵。
AI 团队的「林格曼效应」
图 7：不同智能体数量对 KPI、CS 与 TS 的影响。在探究团队规模的影响时，实验发现，将智能体数量从 1 个增加到 3 个时，协作分数和任务分数得到了提升。然而，当继续增加智能体数量时，整体的 KPI 反而开始下降。
这一现象与组织行为学中的「林格曼效应」（团队规模越大，个体贡献越倾向于减少）高度吻合。团队规模的扩大并非简单的「人多力量大」，这意味着，未来构建大规模 AI 智能体系统的关键，将是如何设计出高效、低开销的协作机制，以克服规模扩张带来的内在复杂性。
「Aha-Moments」：当 AI 开始展现社会智慧
MultiAgentBench 最重要的发现，或许是在「狼人杀」和「谈判」这类竞争性场景中，观察到的一系列惊人的「涌现行为」。这些复杂的社会策略并非由人类编码设计，而是 AI 为了赢得胜利这一最终目标，自发「学习」和「演化」出来的。
这些「Aha-Moments」标志着 LLM 智能体正在经历一次从纯粹的「逻辑推理机器」，向具备初级社会行为能力的角色的转变。它们正在学习和运用人类社会互动中最核心的元素：欺骗、信任、策略和权衡。当一个智能体开始思考「其他智能体正在思考什么」时，这正是「心智理论」的雏形。
总结
MultiAgentBench 的推出，为我们打开了一扇观察和理解 AI 群体智能的窗户。它不仅仅是一个评测工具，更是一个强大的「社会模拟器」，系统性地揭示了构建高效 AI 团队的几条重要准则：
总而言之，这项工作标志着我们对 AI 的研究，正在从关注「个体智商」迈向理解「群体情商」的新阶段。未来，通过构建更复杂的交互环境，我们将能更好地理解、引导并最终利用这种强大的新兴智能，为解决现实世界中的复杂问题，迈出坚实的一步。
（转自：网易科技）
海量资讯、精准解读，尽在新浪财经APP
富腾优配提示：文章来自网络，不代表本站观点。
