spooknik / beyonder-4x7b-v2

结合了4个最佳7B模型的MoE模型

2,156 Pulls 更新于5个月前

5个月前

8c32d3c4bb04 · 15GB

模型
llama
·
24.2B
·
Q4_K_M
参数
{"stop":["<|im_end|>","<|im_start|>"]}
模板
<|im_start|>system {{ .System }}<|im_end|> <|im_start|>user {{ .Prompt }}<|im_end|> <|im_start|>assistant

自述文件

原始模型 | GGUF 量化

这是一个中等大小的 MoE 模型，它结合了 openchat/openchat-3.5-1210、beowolx/CodeNinja-1.0-OpenChat-7B、maywell/PiVoT-0.1-Starling-LM-RP 和 WizardLM/WizardMath-7B-V1.1.

我发现在这个模型非常好。比 Mixtral 体积更小，性能更好。

这是模型的 V2 版本，包含了最近更新的量化（The Bloke 的量化已过时）。

如果您遇到任何问题，请随时联系我

Reddit: /u/spooknik | Discord: .spooknik