codegemma

CodeGemma 是一系列功能强大且轻量级的模型，可以执行各种编码任务，例如中间代码填充、代码生成、自然语言理解、数学推理和指令遵循。

2b 7b

530.7K 7 个月前

85 个标签

自述文件

CodeGemma 是一系列功能强大且轻量级的模型，可以执行各种编码任务，例如中间代码填充、代码生成、自然语言理解、数学推理和指令遵循。

变体

  • instruct 一个 7b 指令调整变体，用于自然语言到代码的聊天和指令遵循
  • code 一个 7b 预训练变体，专门用于代码完成，以及从代码前缀和/或后缀生成代码
  • 2b 最先进的 2B 预训练变体，可提供高达 2 倍的代码完成速度

优势

  • 智能代码补全和生成：补全行、函数，甚至生成整个代码块，无论您是在本地工作还是使用 Google Cloud 资源。

  • 更高的准确性：CodeGemma 模型在 5000 亿个 token 的主要为英语的数据上进行了训练，这些数据来自网络文档、数学和代码，生成的代码不仅在语法上更正确，而且在语义上也有意义，从而减少了错误和调试时间。

  • 多语言精通：支持 Python、JavaScript、Java、Kotlin、C++、C#、Rust、Go 和其他语言。

  • 简化的工作流程：将 CodeGemma 模型集成到您的开发环境中，减少编写样板代码，并专注于有趣且与众不同的重要代码，从而更快地完成工作。

benchmarks

中间填充

CodeGemma 模型支持中间填充 (FIM)，用于自动完成或编码辅助工具。 下面是使用 Ollama Python 库的示例

response = generate(
  model='codegemma:2b-code',
  prompt=f'<|fim_prefix|>{prefix}<|fim_suffix|>{suffix}<|fim_middle|>',
  options={
    'num_predict': 128,
    'temperature': 0,
    'top_p': 0.9,
    'stop': ['<|file_separator|>'],
  },
)

参考

Hugging Face

报告