RWKV-7 2.9B 模型正式发布,SOTA 架构,带来 SOTA 使用体验

2025 年 2 月 11 日,RWKV 基金会正式发布 RWKV-7-World-2.9B-V3 模型(以下简称 RWKV-7-2.9B)。

RWKV-7-2.9B 模型基于 RWKV World V3 数据集训练。无论是模型评测还是实际体验,RWKV-7-2.9B 都超越了上一代 RWKV-6-7B 模型。

英文和多语言测评

RWKV-7-2.9B 模型的英文和多语言能力,均显著超越所有同尺寸模型,包括 Llama 3.2 3B、Qwen2.5 3B 等知名优秀开源模型。

RWKV-7-2.9B-benchmark

MMLU 测试

选择题形式的 MMLU 测试上,RWKV-7-2.9B 模型得分为 54.56%。作为对比,上一版本的 RWKV-6-World-3B-V2.1 模型 MMLU 评分是 32.38%。

RWKV-7-2.9B 基底模型的性能提升完全通过常规训练实现,未针对任何测试进行“优化”,也没有采取退火或 post-training 等优化策略。

生成案例

以下是 RWKV-7-2.9B 的生成案例(使用 RWKV Runner 运行):

<

你可能感兴趣的:(人工智能,自然语言处理,语言模型,RWKV)