微博推出低成本AI模型VibeThinker-1.5B,挑战大型语言模型格局

微博推出低成本 AI 模型 VibeThinker-1.5B,挑战大型语言模型的地位,该模型以较小的成本提供强大的自然语言处理能力,展现出强大的语言理解和生成能力,这一创新性的举措将使得更多用户能够轻松接触和使用 AI 技术,促进人工智能技术的普及和发展,VibeThinker-1.5B 的推出将引发业界对于低成本 AI 模型的关注,有望推动人工智能技术的更广泛应用。

微博推出 vibethinker-1.5b,低成本 ai 模型挑战大型语言模型

微博推出低成本AI模型VibeThinker-1.5B,挑战大型语言模型格局

微博人工智能实验室近日发布了其开源的大型语言模型 VibeThinker-1.5B,该模型拥有15亿参数,是在阿里巴巴 Qwen2.5-Math-1.5B 的基础上经过精细调优而来。

尽管参数量仅为15亿,VibeThinker-1.5B 在数学推理与代码生成任务中展现出卓越能力,推理表现达到业界领先水平,甚至在多项评测中超越了参数高达6710亿的 DeepSeek R1 模型。此外,它还能与 Mistral AI 的 Magistral Medium、Anthropic 的 Claude Opus4 以及 OpenAI 的 gpt-oss-20B Medium 等重量级大模型相媲美,而其对算力和资金投入的需求却显著更低。

尤为突出的是,VibeThinker-1.5B 在后期训练阶段仅消耗了约7800美元的计算成本,远低于同类模型动辄数十万乃至上百万美元的投入。大型语言模型的训练通常分为两个阶段:首先是预训练阶段,模型通过海量文本学习语言规律和通用知识;其次是后期训练,利用高质量的小规模数据集提升模型的推理能力、指令遵循性及与人类偏好的对齐程度。

微博推出 VibeThinker-1.5B,低成本 AI 模型挑战大型语言模型

该模型采用了名为“谱 - 信号原则”(Spectrum-to-Signal Principle, SSP)的创新训练框架,将监督微调与强化学习解耦为两个独立阶段。第一阶段强调输出多样性,充分探索可能的推理路径;第二阶段则借助强化学习聚焦优化最优响应路径,实现从丰富“谱”中提取有效“信号”,从而提升小模型的推理效率与准确性。

在多个权威基准测试中,VibeThinker-1.5B 均取得了优于众多更大规模开源与闭源模型的成绩。此次开源发布挑战了“越大越好”的传统认知,证明了通过高效训练方法,小型模型同样能在特定领域实现顶尖性能。

源码地址:点击下载

网友留言(0 条)

发表评论