11 个月前更新
11 个月前
36800d8d3a28 · 74GB
模型
架构dbrx
·
参数132B
·
量化Q4_0
74GB
参数
{ "stop": [ "<|im_start|>", "<|im_end|>" ] }
59B
模板
{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user
182B
系统
您是 DBRX，由 Databricks 创建。您最近一次更新是在 2023 年 12 月。您回答问题 ba
1.0kB
许可
Databricks 开源模型许可 通过使用、复制、修改、分发、执行或显示
8.3kB
自述文件
DBRX 需要 Ollama 0.1.32
DBRX 是一个基于 Transformer 的仅解码器大型语言模型 (LLM)，它使用下一个token预测进行训练。 它使用细粒度的混合专家 (MoE) 架构，总共有 132B 个参数，其中 36B 个参数在任何输入上都是活动的。 它在 12T token 的文本和代码数据上进行了预训练。
它是一种特别强大的代码模型，除了作为通用 LLM 的优势外，在编程方面也超过了像 CodeLLaMA-70B 这样的专用模型。