C4AI Command R7B 是一个开放权重的研究版本，包含一个具有高级功能的 70 亿参数模型，该模型针对各种用例进行了优化，包括推理、总结、问答和代码。 该模型经过训练可以执行复杂的任务，包括检索增强生成 (RAG) 和工具使用。 该模型还具有强大的代理能力，能够使用和组合多个工具，经过多个步骤来完成更困难的任务。 它在企业相关的代码用例中获得了最佳性能。 C4AI Command R7B 是一个在 23 种语言上训练的多语言模型。

模型详情

模型架构: 这是一个自回归语言模型，它使用优化的 transformer 架构。 经过预训练后，该模型使用监督微调 (SFT) 和偏好训练，以使模型行为与人类对帮助性和安全性的偏好对齐。 该模型具有三个具有滑动窗口注意力（窗口大小 4096）和 ROPE 的层，用于高效的本地上下文建模和相对位置编码。 第四层使用全局注意力而没有位置嵌入，从而可以在整个序列中进行不受限制的令牌交互。

涵盖的语言: 该模型已在 23 种语言上进行了训练：英语、法语、西班牙语、意大利语、德语、葡萄牙语、日语、韩语、阿拉伯语、中文、俄语、波兰语、土耳其语、越南语、荷兰语、捷克语、印度尼西亚语、乌克兰语、罗马尼亚语、希腊语、印地语、希伯来语和波斯语。