NVIDIA推出Orchestrator-8B，强化学习控制器助力高效工具和模型选择

NVIDIA推出了一款名为Orchestrator-8B的强化学习控制器，旨在提高工具和模型选择的效率，该控制器通过强化学习技术，能够智能地管理计算资源，优化工作流程，从而提升深度学习应用的性能和效率，这一创新产品将进一步推动NVIDIA在人工智能领域的领先地位，摘要结束。

NVIDIA 近期发布了一项名为 ToolOrchestra 的创新方案，旨在增强 AI 系统在多工具环境中的调度能力，摆脱对单一巨型模型的传统依赖。该方法的核心是一个名为 Orchestrator-8B 的小型语言模型，作为“指挥官”协调各类工具的使用，从而实现更智能、高效的任务执行。

与当前主流做法不同——多数 AI 代理依赖如 GPT-5 这样的大型模型来解析指令并调用工具——ToolOrchestra 发现此类方式常导致模型过度依赖自身计算资源，忽视外部工具优势，造成效率低下。为此，研究团队构建了专用于工具编排的 Orchestrator-8B 模型，并采用强化学习策略优化其决策过程。

Orchestrator-8B 是一个拥有8亿参数的纯解码器架构模型，基于 Qwen3-8B 微调而来，仅保留标准 Transformer 结构。其运行流程包含三个阶段：首先理解用户输入及附加偏好（例如倾向快速响应或禁用网络查询）；然后进行内部推理并制定行动计划；最后从可用工具集中挑选最合适的选项，并以统一 JSON 格式发起调用。此循环将持续直至任务完成或达到最多50步操作限制。

为提升性能，ToolOrchestra 引入了复合奖励机制驱动强化学习训练。奖励信号由三部分构成：是否成功完成任务的二值奖励、反映时间和成本开销的效率奖励，以及对齐用户偏好的个性化奖励。这种多维度反馈机制有效引导模型形成更优策略，在复杂环境中做出更合理的工具选择。

实测结果显示，Orchestrator-8B 在多个基准测试中超越现有方案。在被称为“人类最后的考试”的综合评估中，其准确率达到37.1%，优于 GPT-5 的35.1%。同时，在资源消耗方面表现尤为突出：平均花费仅为0.092美元，耗时8.2分钟，显著低于 GPT-5 所需的0.302美元和19.8分钟。这表明该模型在控制成本与提升效率方面具备明显优势，特别适用于重视性价比的应用场景。

源码地址：点击下载