11 个月前更新
11 个月前
36800d8d3a28 · 74GB
模型
架构dbrx
·
参数132B
·
量化Q4_0
74GB
参数
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
模板
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user
182B
系统
You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions ba
1.0kB
许可
Databricks Open Model License By using, reproducing, modifying, distributing, performing or display
8.3kB
说明
DBRX 需要 Ollama 0.1.32
DBRX 是一个基于 Transformer 的解码器大型语言模型 (LLM)，它使用下一个 token 预测进行训练。它使用了一个细粒度的混合专家 (MoE) 架构，总共有 132B 个参数，其中任何输入上有 36B 个参数处于活动状态。 它在 12T 个文本和代码数据的 token 上进行了预训练。
它是一个特别强大的代码模型，在编程方面超越了像 CodeLLaMA-70B 这样的专门模型，并且它也是一个通用的 LLM。