C4AI Command R7B 是一个开放权重的研究版本，它是一个 7B 十亿参数模型，具有先进的功能，针对各种用例进行了优化，包括推理、总结、问答和代码。 该模型经过训练可以执行复杂的任务，包括检索增强生成 (RAG) 和工具使用。 该模型还具有强大的代理功能，能够使用和组合多个工具，在多个步骤中完成更困难的任务。 它在企业相关的代码用例中获得了最高的性能。 C4AI Command R7B 是一个在 23 种语言上训练的多语言模型。

模型详情

模型架构: 这是一个自回归语言模型，使用优化的 Transformer 架构。 经过预训练后，该模型使用监督微调 (SFT) 和偏好训练来调整模型行为以适应人类对帮助和安全的偏好。 该模型具有三层滑动窗口注意力（窗口大小 4096）和 ROPE，用于高效的本地上下文建模和相对位置编码。 第四层使用没有位置嵌入的全局注意力，可以在整个序列中实现不受限制的 token 交互。

覆盖的语言: 该模型已经在 23 种语言上进行了训练：英语、法语、西班牙语、意大利语、德语、葡萄牙语、日语、韩语、阿拉伯语、中文、俄语、波兰语、土耳其语、越南语、荷兰语、捷克语、印度尼西亚语、乌克兰语、罗马尼亚语、希腊语、印地语、希伯来语和波斯语。