spooknik / beyonder-4x7b-v2

结合了7个最佳7B模型中的4个的MoE模型

2,156 拉取 更新于5个月前

5个月前

6d84ca8f07b5 · 17GB

模型
llama
·
24.2B
·
Q5_K_M
参数
{"stop":["<|im_end|>","<|im_start|>"]}
模板
<|im_start|>system {{ .System }}<|im_end|> <|im_start|>user {{ .Prompt }}<|im_end|> <|im_start|>assistant

README

原始模型 | GGUF Quants

这是一个中等规模的 MoE 模型，它结合了，openchat/openchat-3.5-1210，beowolx/CodeNinja-1.0-OpenChat-7B，maywell/PiVoT-0.1-Starling-LM-RP 和 WizardLM/WizardMath-7B-V1.1.

我认为这个模型非常好。比 Mixtral 轻量级且性能更优。

这是模型的 V2 版本，具有最新的更新量化（The Bloke’s quants 已过时）。

如果您有问题，请随时联系我

Reddit: /u/spooknik | Discord: .spooknik