C4AI Command R7B 是一个开放权重研究版本，包含一个 7B 亿参数模型，具有高级功能，针对各种用例进行了优化，包括推理、摘要、问题解答和代码。 该模型经过训练可以执行复杂的任务，包括检索增强生成 (RAG) 和工具使用。 该模型还具有强大的代理能力，能够使用和组合多个工具来完成更困难的任务。 它在企业相关的代码用例中获得了最佳性能。 C4AI Command R7B 是一个用 23 种语言训练的多语言模型。

模型详情

模型架构： 这是一个自回归语言模型，它使用优化的 Transformer 架构。 在预训练之后，该模型使用监督微调 (SFT) 和偏好训练，以使模型行为与人类对有用性和安全性的偏好保持一致。 该模型具有三层滑动窗口注意力（窗口大小 4096）和 ROPE，用于高效的局部上下文建模和相对位置编码。 第四层使用没有位置嵌入的全局注意力，从而能够在整个序列中进行不受限制的令牌交互。

涵盖的语言： 该模型已使用 23 种语言进行训练：英语、法语、西班牙语、意大利语、德语、葡萄牙语、日语、韩语、阿拉伯语、中文、俄语、波兰语、土耳其语、越南语、荷兰语、捷克语、印度尼西亚语、乌克兰语、罗马尼亚语、希腊语、印地语、希伯来语和波斯语。