rjmalagon / lumimaid-v0.2-12b

工具 12B

73 Pulls 更新于两周前

两周前

1cbd296ce4f4 · 13GB

模型
llama
·
12.2B
·
Q8_0
params
{"stop":["[INST]","[/INST]"]}
模板
{{- range $i, $_ := .Messages }} {{- if eq .Role "user" }} {{- if and $.Tools (le (len (slice $.Messages $i)) 2) }}[AVAILABLE_TOOLS] {{ $.Tools }}[/AVAILABLE_TOOLS] {{- end }}[INST] {{ if and $.System (eq (len (slice $.Messages $i)) 1) }}{{ $.System }} {{ end }}{{ .Content }}[/INST] {{- else if eq .Role "assistant" }} {{- if .Content }} {{ .Content }}{{ if not (eq (len (slice $.Messages $i)) 1) }}</s>{{ end }} {{- else if .ToolCalls }}[TOOL_CALLS] [ {{- range .ToolCalls }}{"name": "{{ .Function.Name }}", "arguments": {{ .Function.Arguments }}} {{- end }}]</s> {{- end }} {{- else if eq .Role "tool" }}[TOOL_RESULTS] {"content": {{ .Content }}} [/TOOL_RESULTS] {{- end }} {{- end }}

说明

Lumimaid 0.2

Image


8b -
[12b] -
70b -
123b

本模型基于： Mistral-Nemo-Instruct-2407

Wandb: https://wandb.ai/undis95/Lumi-Mistral-Nemo?nw=nwuserundis95

注意：如[Mistral-Nemo-Instruct-2407]仓库所解释，建议使用低温，请进行实验！

Lumimaid 0.1 -> 0.2 在数据集方面取得了巨大的进步。

由于有些人告诉我们我们的模型很马虎，Ikari决定不再理会，直接将大部分马虎的聊天内容删除。

我们的数据集自始至终没有变，我们逐渐加入了数据，清理它们，并且重复这个过程。由于我们从未对模型感到满意，有一段时间我们没有发布模型，现在我们认为回归的时候到了！

提示模板：Mistral

<s>[INST] {input} [/INST] {output}</s>

致谢

  • Undi
  • IkariDev

我们用于制作数据集的训练数据

遗憾的是，我们没有找到以下信息，如果您认出您的设备，请通过DM联系我们！

  • Opus_Instruct-v2-6.5K-Filtered-v2-sharegpt
  • claude_sharegpt_trimmed
  • CapybaraPure_Decontaminated-ShareGPT_reduced

数据集致谢

  • 壮丽
  • 混沌中性
  • 格里菲
  • meseca
  • PJ混合器
  • 互联网上无人存在
  • cato
  • kalomaze
  • 医生-枪支
  • 诺尔金
  • 什么都不是真实的

https://hugging-face.cn/NeverSleep/Lumimaid-v0.2-12B