比年来，说话模子时间速即发展，干系词代表性效力如 Gemini 2.5Pro 和 GPT-4.1，从容被谷歌、OpenAI 等科技巨头所支配。

与此同期，开源社区的小领域模子正面对日益严峻的挑战——

他们参数领域常常仅在 7B 傍边，难以在多任务、多领域场景中与大型闭源模子相抗衡，尚未变成实在真义上的通用东说念主工智能才能。

在此配景下，上海东说念主工智能执行室合伙东北大学、西北工业大学等机构，提议了Avengers 框架，旨在探索开源小模子群体智能的新旅途。

执行标明，Avengers 框架在 15 个涵盖数学、代码、逻辑、常识和表情任务的数据集上，平均得分突出了 GPT-4.1（OpenAI 4 月发布的旗舰模子），并在其中 9 个数据集上显耀更优。

△模子路由漫衍图与部分任务性能对比 Avengers 框架：构建袖珍说话模子的协同智能

Avengers 框架的谈判中枢是纯粹、高效且无需荒芜查验，通过四个轻量的法子，采集多个小模子的上风：

Embedding：通过镶嵌聚拢问题

不管是系统准备阶段用作学习的考证问题，还是用户及时提议的新问题，框架皆会当先诓骗文本镶嵌模子将这些问题"翻译"谚语义信息向量。

Clustering：通过聚类构建"任务舆图"

在系统准备阶段，Avengers 通过计较这些向量间的同样性，将问题诀别为不同的簇（cluster），其中每个簇皆代表着一种具备同样性的问题，举例"数学计较区"、"代码生成区"或"逻辑推理区"。

Scoring：为每个模子建树"才能档案"

Avengers 诓骗各个簇的代表性考证问题（考证集）去"傍观"模子池中的每一个小模子，并记载下它们在每个问题类别上的发达得分。

Routing & Voting：通过动态路由与投票决策，完竣东说念主尽其才，择优输出

当一个新问题干涉 Avengers 后，框架会及时进行处理：

当先，通过语义镶嵌聚拢新问题。

然后，在"任务舆图"上速即定位该问题所属的簇。

接着，系统查阅各模子的"才能档案"，动态采选（路由）在该问题类别中发达最佳的一个或多个"众人模子"来生成谜底。

终末，通过投票机制（如 Self-Consistency），从悉数候选谜底中选出一致性最高的算作最终输出。

执行考证：Avengers 框架的灵验性与后劲

为了全面评估 Avengers 框架的性能，权谋团队录取了隐私数学推理（如 AIME, Math500,LiveMathBench）、代码生成（MBPP, HumanEval）、逻辑推理（如 KORBench, BBH,Knights and Knaves）、常识问答（ARC Challenge, MMLUPro,GPQA,FinQA,MedQA）和表情分析（如 EmoryNLP, MELD）等五个领域的15个公开数据集。

执行中，Avengers 框架集成了10个参数目在 7B 傍边的开源袖珍说话模子。

此外，为了进行愈加充分的对比，权谋团队还对基线标准进行了增强。

具体而言，关于路由标准（RouterDC, EmbedLLM, MODEL-SAT），合伙使用 gte-qwen2-7B-instruct 算作文本镶嵌模子，推理时合伙使用 Self-Consistency 战略（采样 10 次）。查验路由时，权谋东说念主员东说念主为录取了路由模子的测试集最高性能点算作查验拆开点。关于夹杂标准（MoA, Symbolic-MoE），权谋团队合伙使用 32K 险阻文的 Qwen2.5-7B-Instruct 算作团员模子（aggregator）。为了幸免模子过多带来的险阻文窗口过长问题，权谋团队还谈判了 MoA（Oracle）——推理时使用在刻下任务最强的 3 个模子，而不是一齐模子。

中枢执行铁心标明：

合座性能优厚：

在 15 个数据采集，Avengers 框架在其中 9 个数据集上的发达突出了雄伟的专有模子 GPT-4.1。

特定领域上风显耀：

在数学任务上，Avengers 的平均性能比 GPT-4.1 跳动18.21%。

在代码任务上，Avengers 的平均性能比 GPT-4.1 跳动7.46%。

突出其他路由与集成标准：

与需要查验的先进路由标准（如 RouterDC, EmbedLLM, MODEL-SAT）比拟，Avengers 在无需荒芜查验的情况下，平均性能最高，何况在漫衍外泛化（Out-of-Distribution Generalization）任务上发达出更强的鲁棒性，在 OOD 测试中平均得分比 EmbedLLM 跳动 8.14%。

与夹杂式标准（如 Mixture-of-Agents）比拟，Avengers 更合乎小模子险阻文窗口有限和辅导遵守才能相对较弱的特质，展现出更好的性能，比拟于 MoA ( Oracle ) 标准平均得分跳动 17.16%。

这些铁心暴露地解说，通过 Avengers 框架的灵验组织和调理，多个袖珍模子的"集体贤人"大约达到致使在某些方面突出顶尖大型模子的水平，比拟于夹杂式标准，性能上风暴露，比拟于路由标准，无需查验且 OOD 性能优秀。

身剖析析：Avengers 框架为何灵验？

通过精致的消融执行，权谋团队探究各组成部分对合座性能的孝敬：

对镶嵌模子和聚类算法的鲁棒性：执行标明，Avengers 框架的性能关于所选用的具体镶嵌模子（测试了从 0.56B 到 7B 参数不等的多种模子）和聚类算法（测试了 K-Means、档次聚类、GMM 等多种经典算法）并不解锐。这意味着 Avengers 具有精致的普适性和易用性，不彊依赖于特定的组件。

模子数目与性能的衡量：权谋发现，跟着集成的小模子数目增多，Avengers 的合座性能也随之提高。值得翔实的是，仅需 3 个小模子，其性能便可与 GPT-4.1 捏平（凭证簇名次自动采选）。当模子数目达到约10 个时，性能趋于富足，尤其在常识、代码和表情等任务上展现出精致的互补效应。这讲解 Avengers 大约灵验地诓骗模子的异质性，完竣" 1+1>2 "的效果，而无需盲目堆砌模子数目。

集成战略的灵验性：在多种输出集成战略中，基于投票的战略被解说是一种浅易且高效的采选，它通过对单个或多个模子进行叠加采样及投票，显耀提高了最终谜底的质地和安定性。

对超参数的低明锐度：以聚类数目 K 为例，执行贯通在一个尽头常常的 K 值范围内（约 14 至 140），Avengers 均能保捏安定且优于 GPT-4.1 的性能。这裁减了超参数调优的难度，增强了框架的实用性。

这些性情共同组成了 Avengers 框架的中枢上风：它是一个轻量级、合乎性强、且对具体组件采选和超参数调整不解锐的协同措置决策。

真义与瞻望：为开源 AI 生态注入新活力

Avengers 框架的提议和考证，关于刻下的 AI 权谋和开源社区具有多重真义：

为袖珍模子开辟新旅途

它解说了通过灵验的协同战略，参数目相对较小、资源条目较低的开源模子也大约在复杂任务上得回精致发达，为提高开源模子实用性提供了参考旅途。

鼓动 AI 时间的普惠化

算作一个无需查验、易于完竣的框架，Avengers 简化了高性能 AI 系统的构建进程，有助于更多征战者和权谋东说念主员开展干系执行与应用探索。

促进模子生态的万般性

通过发掘和诓骗不同模子的独到上风，Avengers 展示了模子在特定任务中互补使用的后劲，有助于构建一个愈加丰富和多元的 AI 模子生态。

夙昔职责将聚焦于以下几个方面：

裁减起始校准资本

探索更高效的聚类和模子才能评估标准，以减少框架在引入新模子或新任务时的前置计较。

扩张应用范围

将 Avengers 框架应用于更豪迈的任务类型（如对话系统、多模态任务）和更万般化的模子（包括更小领域的模子）。

动态合乎与进化

权谋在线学习和动态调整机制，使 Avengers 框架大约凭阐明时响应和环境变化，捏续优化其模子采选和集成战略。

本文第一作家张逸群（东北大学博士三年龄）和李昊（西北工业大学博士二年龄）均为上海东说念主工智能执行室实习生。通信作家为上海东说念主工智能执行室权谋员胡舒悦和东北大学副西宾冯时。团队其他成员还有执行室实习生王晨旭、陈林尧，以及执行室权谋员张乔生、叶鹏、徐甲、白磊、欧阳万里等。

论文连结：https://arxiv.org/abs/2505.19797

代码连结：https://github.com/ZhangYiqun018/Avengers

一键三连「点赞」「转发」「注意心」

宽待在研究区留住你的思法！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见开yun体育网