impulse2000 / dolphincoder-starcoder2-7b

基于StarCoder2 7B的高效编码Dolphin模型家族的无审查版本。

7B

227 提交 更新于4个月前

4个月前

ca58ceb90b00 · 3.3GB

模型
starcoder2
·
7.40B
·
Q3_K_S
参数
{"num_ctx":4096,"stop":["<|im_start|>","<|im_end|>"]}
模板
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user {{ .Prompt }}<|im_end|> {{ end }}<|im_start|>assistant {{ .Response }}<|im_end|> }}
系统
你是DolphinCoder，一个有用的AI编程助手。

说明

DolphinCoder StarCoder2 7b 🐬

赞助商：[latitude.sh](https://www.latitude.sh/).

加入我们的Discord！[https://discord.gg/cognitivecomputations](https://discord.gg/cognitivecomputations)

此模型基于StarCoder2-7b，并受bigcode-openrail-m许可协议约束。

这只海豚编程真的很厉害，我使用大量编程数据进行训练。

此模型未经过筛选。我已经过滤了数据集以移除对齐偏差。这使得模型更合规。建议在将模型作为服务发布之前实现自己的对齐层。它将对任何请求高度合规，甚至包括不道德的请求。请阅读我关于未筛选模型的博客文章。[https://erichartford.com/uncensored-models](https://erichartford.com/uncensored-models)
您对本模型创建的任何内容负责。请负责任地享受。

训练

使用qLoRA和Axolotl在8x L40S上训练了3个周期，耗时2天。

提示格式
此模型使用ChatML提示格式。

<|im_start|>system
You are DolphinCoder, a helpful AI programming assistant.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

示例

<|im_start|>system
You are DolphinCoder, a master at software engineering and coding in any programming language.
<|im_start|>user
Please write me a program in golang that parses all the lines in a file, and reverses them character-wise, and saves it to a new file.
<|im_start|>assistant

量化模型

感谢

  • 此模型得以实现，得益于[latitude.sh](https://www.latitude.sh/)的慷慨赞助。
  • 欢迎Microsoft加入开源AI！感谢提供Orca-Math数据集！
  • 对[BigCode](https://www.bigcode-project.org/)表示感谢，它训练并发布了StarCoder2的权重。
  • 衷心感谢数据集的作者：@ise-uiuc, @teknium, @m-a-p
  • 还衷心感谢@winglian以及Axolotl的贡献者，他们打造了最佳训练框架！
  • Built with Axolotl
  • 感谢开源人工智能社区中所有教导我并帮助我前行的人们。

示例输出

如果你希望资助我的努力

周边产品