最新的 Code-Specific Qwen 模型系列,在代码生成、代码推理和代码修复方面有显著改进。

工具 0.5b 1.5b 3b 7b 14b 32b

4.5M 4 个月前

Readme

Qwen 2.5 Coder 系列模型现已更新至 6 种尺寸:0.5B、1.5B、3B、7B、14B 和 32B

代码生成代码推理代码修复方面有显著改进。 32B 模型具有与 OpenAI 的 GPT-4o 相媲美的性能。

32B: ollama run qwen2.5-coder:32b

14B: ollama run qwen2.5-coder:14b

7B: ollama run qwen2.5-coder:7b

3B: ollama run qwen2.5-coder:3b

1.5B: ollama run qwen2.5-coder:1.5b

0.5B: ollama run qwen2.5-coder:0.5b

代码能力达到开源模型的最佳水平

Comparison benchmarks

代码生成: Qwen2.5 Coder 32B Instruct 作为此开源版本的旗舰模型,在多个流行的代码生成基准测试(EvalPlus、LiveCodeBench、BigCodeBench)上实现了开源模型中的最佳性能,并具有与 GPT-4o 相媲美的性能。

代码修复: 代码修复是一项重要的编程技能。 Qwen2.5 Coder 32B Instruct 可以帮助用户修复代码中的错误,从而提高编程效率。 Aider 是一个流行的代码修复基准测试,Qwen2.5 Coder 32B Instruct 得分为 73.7,在 Aider 上的表现与 GPT-4o 相当。

代码推理: 代码推理是指模型学习代码执行过程并准确预测模型的输入和输出的能力。 最近发布的 Qwen2.5 Coder 7B Instruct 已经在代码推理方面表现出令人印象深刻的性能,而此 32B 模型更进一步。

Benchmarks

多种编程语言

一个智能编程助手应该熟悉所有编程语言。 Qwen 2.5 Coder 32B 在 40 多种编程语言中表现出色,在 McEval 上获得 65.9 分,在 Haskell 和 Racket 等语言中表现出色。 Qwen 团队在预训练阶段使用了自己独特的数据清理和平衡方法。

McEval Performance

此外,Qwen 2.5 Coder 32B Instruct 的多语言代码修复能力仍然令人印象深刻,可帮助用户理解和修改他们熟悉的编程语言,从而大大降低不熟悉语言的学习成本。 与 McEval 类似,MdEval 是一个多语言代码修复基准测试,Qwen 2.5 Coder 32B Instruct 得分为 75.2,在所有开源模型中排名第一。

MdEval Performance

人类偏好

为了评估 Qwen 2.5 Coder 32B Instruct 与人类偏好的一致性性能,我们构建了一个内部注释代码偏好评估基准,称为 Code Arena(类似于 Arena Hard)。 我们使用 GPT-4o 作为偏好对齐的评估模型,采用“A vs. B 获胜”评估方法,该方法测量测试集中模型 A 的得分超过模型 B 的实例的百分比。 以下结果证明了 Qwen 2.5 Coder 32B Instruct 在偏好对齐方面的优势。

human preference

全面的模型尺寸以适应您的设备

Model sizes

参考资料

博客文章

HuggingFace