一种开源的专家混合模型 (MoE) 代码语言模型,在代码特定任务中实现了与 GPT4-Turbo 相当的性能。

16b 236b

722.3K 6 个月前

自述文件

DeepSeek-Coder-V2 是一种开源的专家混合模型 (MoE) 代码语言模型,在代码特定任务中实现了与 GPT4-Turbo 相当的性能。DeepSeek-Coder-V2 通过从高质量和多来源语料库中获取的 6 万亿个 token 进一步从 DeepSeek-Coder-V2-Base 进行预训练。

参考资料

Hugging Face