RWKV7-G1a 2.9B推理模型开源发布,推进纯RNN模型的思考力

2025 年 9 月 24 日,rwkv7-g1a 2.9b 推理模型正式开源,进一步推动纯 rnn 架构在语言理解与生成方面的能力边界。

RWKV7-G1a 2.9B推理模型开源发布,推进纯RNN模型的思考力

该模型基于 RWKV7-G1 2.9B 持续训练了 1T tokens 的高质量数据,在多个维度上实现显著性能跃升。

模型客观评测表现

英文及多语言能力

在同参数规模的开源模型中,RWKV7-G1a 2.9B 在基础英语和跨语言任务上的表现更为出色:

RWKV7-G1a 2.9B 推理模型开源发布,继续推进纯 RNN 模型的思考能力

作为一个未经针对性“刷榜”优化的纯预训练基座模型,其 MMLU 分数提升至 61.1%,MMLU Pro 达到 31.5%(此前版本分别为 58.0% 和 25.8%)。

真实能力评估:无法作弊的测试

Uncheatable Eval 是一种“防作弊”的评测方式,采用最新论文、新闻、代码、小说等实时内容,通过衡量模型对新信息的压缩能力(即“压缩即智能”理论),来检验语言模型的真实泛化水平。

在此项测试中,RWKV7-G1a 2.9B 表现持续进步,超越当前所有其他 3B 级别的开源模型。

RWKV7-G1a 2.9B 推理模型开源发布,继续推进纯 RNN 模型的思考能力

实际应用演示

多语言翻译能力

建议使用保守解码设置进行翻译任务:temp=0.2,topp=0.2,presence=0,frequency=0,decay=0.996

支持多种语言同步互译:

RWKV7-G1a 2.9B 推理模型开源发布,继续推进纯 RNN 模型的思考能力

编程能力展示

推荐代码生成使用以下参数:temp=0.3,topp=0.3,presence=0,frequency=0,decay=0.996

解决最长公共子序列问题:

RWKV7-G1a 2.9B 推理模型开源发布,继续推进纯 RNN 模型的思考能力

实现 LRU 缓存结构设计:

RWKV7-G1a 2.9B 推理模型开源发布,继续推进纯 RNN 模型的思考能力

数学推理能力

解答数学题建议配置:temp=0.3,topp=0.3,presence=0,frequency=0,decay=0.996

抛物线相关计算:

RWKV7-G1a 2.9B 推理模型开源发布,继续推进纯 RNN 模型的思考能力

多项式方程处理:

RWKV7-G1a 2.9B 推理模型开源发布,继续推进纯 RNN 模型的思考能力

物理问题求解

物理类问题推荐相同保守参数:temp=0.3,topp=0.3,presence=0,frequency=0,decay=0.996

计算火星表面重力加速度:

RWKV7-G1a 2.9B 推理模型开源发布,继续推进纯 RNN 模型的思考能力

创意文本生成

创作类任务可启用更开放的采样策略:temp=0.6,topp=0.7,presence=2,frequency=0.2,decay=0.99(注意为 0.99)

古体诗创作示例:

RWKV7-G1a 2.9B 推理模型开源发布,继续推进纯 RNN 模型的思考能力

模型获取方式

可从以下平台下载 RWKV7-G1a 2.9B 模型权重:

  • Hugging Face:https://www.php.cn/link/f35841e00244e469c8bfa8a45272a6bc
  • 魔搭社区:https://www.php.cn/link/1f1eb1eaff40d5b16011f0d5c49fbf13
  • WiseModel:https://www.php.cn/link/9d53b7a44f7aea7ef05b4bc3c1e37d09

如何运行 RWKV 模型

我们提供多种在线体验入口以及本地部署方案,帮助用户快速上手。

在线体验(对话模式)

为了让社区便捷体验 G1a 版本,我们推出了聊天界面的在线 demo:

  • Hugging Face Space:https://www.php.cn/link/274a743f5ed8555e1183b6b752cbeba7 G1a)
  • 魔搭 Studio:https://www.php.cn/link/397dcbbb8a93272b66300d4126b4f9e9 G1a)

该对话系统由社区成员 @Leon 开发,并在 GitHub 项目 web-rwkv-realweb 中完全开源。

在线体验(文本续写模式)

也可通过官方 Gradio Demo 尝鲜 RWKV7-G1a 2.9B:

  • Hugging Face Gradio Demo:https://www.php.cn/link/7c8b2cb44792a9a6b30a02869a605fd8

此外,RWKV7-G1a 2.9B 支持新型推理范式(含长度控制功能),详情参见:RWKV7-G1a 1.5B 开源发布,新推理风格和长度控制,效果显著增强

本地运行指南

支持使用 RWKV Runner、Ai00、pip 包等方式本地加载模型。

同时,RWKV 已兼容主流推理框架如 llama.cpp 和 ollama。

鉴于 RWKV7-G1a 2.9B 为最新发布版本,目前推荐优先使用 RWKV Runner 以确保输出稳定性。

详细教程请访问 RWKV 官网 - 模型推理文档页面。

加入 RWKV 用户社区

欢迎加入 RWKV 开发生态!您可以通过以下渠道了解模型动态、参与讨论或获取技术支持:

  • ? 中文官网文档:https://www.php.cn/link/ad627bf5fd6966693e97a7349d85589c
  • ? RWKV 社区论坛:https://www.php.cn/link/ca66c4195dbebc6f59ceaf0e10629664
  • ? QQ 频道链接:https://www.php.cn/link/6fb41c898918ad5a0df0e50f3790f057
  • ? B站教学视频:https://www.php.cn/link/33bd495470ddcf80911ca403ad6e3dd6

我们鼓励基于 RWKV-7 的科研探索与创业实践,并将为相关项目提供必要的技术协助。
若您的团队正基于 RWKV 展开研究或产品开发,请联系我们!(可通过“RWKV元始智能”微信公众号留言联系方式,或发送邮件至 contact@rwkvos.com)

源码仓库:https://www.php.cn/link/1f1eb1eaff40d5b16011f0d5c49fbf130

网友留言(0 条)

发表评论