rjmalagon / lumimaid-v0.2-12b

工具 12B

73 Pulls 更新于 2周前

2周前

11c3a3819a13 · 25GB

模型
llama
·
12.2B
·
F16
params
{"stop":["[INST]","[/INST]"]}
模板
{{- range $i, $_ := .Messages }} {{- if eq .Role "user" }} {{- if and $.Tools (le (len (slice $.Messages $i)) 2) }}[AVAILABLE_TOOLS] {{ $.Tools }}[/AVAILABLE_TOOLS] {{- end }}[INST] {{ if and $.System (eq (len (slice $.Messages $i)) 1) }}{{ $.System }} {{ end }}{{ .Content }}[/INST] {{- else if eq .Role "assistant" }} {{- if .Content }} {{ .Content }}{{ if not (eq (len (slice $.Messages $i)) 1) }}</s>{{ end }} {{- else if .ToolCalls }}[TOOL_CALLS] [ {{- range .ToolCalls }}{"name": "{{ .Function.Name }}", "arguments": {{ .Function.Arguments }}} {{- end }}]</s> {{- end }} {{- else if eq .Role "tool" }}[TOOL_RESULTS] {"content": {{ .Content }}} [/TOOL_RESULTS] {{- end }} {{- end }}

README

Lumimaid 0.2

Image


8b -
[12b] -
70b -
123b

此模型基于：Mistral-Nemo-Instruct-2407

Wandb：https://wandb.ai/undis95/Lumi-Mistral-Nemo?nw=nwuserundis95

注意：如Mistral-Nemo-Instruct-2407存储库中所述，建议使用低温，请尝试！）

Lumimaid 0.1 -> 0.2 在数据集方面迈出了巨大的步伐。

由于有人告诉我们我们的模型做得不好，Ikari决定不管怎样，直接用最有问题的聊天将所有内容都“销毁”。

我们的数据集从第一天开始就保持不变，随着时间的推移，我们添加了数据，清洁了它们，然后重复。由于我们从未满意，所以一直没有发布模型，我们认为该回来！

提示模板：Mistral

<s>[INST] {input} [/INST] {output}</s>

致谢

  • Undi
  • IkariDev

我们用来制作数据集的培训数据

很遗憾，我们没有找到以下内容，如果您认出您的组合，请发信息给我们！

  • Opus_Instruct-v2-6.5K-Filtered-v2-sharegpt
  • claude_sharegpt_trimmed
  • CapybaraPure_Decontaminated-ShareGPT_reduced

数据集信用

  • Epiculous
  • ChaoticNeutrals
  • Gryphe
  • meseca
  • PJMixers
  • NobodyExistsOnTheInternet
  • cgato
  • kalomaze
  • Doctor-Shotgun
  • Norquinal
  • nothingiisreal

https://hugging-face.cn/NeverSleep/Lumimaid-v0.2-12B