C4AI Command R7B 是一个开放权重的研究版本，包含一个 7B 亿参数模型，具有先进的功能，针对各种用例进行了优化，包括推理、摘要、问题解答和代码。该模型经过训练，可以执行复杂的任务，包括检索增强生成 (RAG) 和工具使用。该模型还具有强大的代理能力，能够使用和组合多个工具，通过多个步骤来完成更困难的任务。它在企业相关的代码用例中获得了最佳性能。 C4AI Command R7B 是一种多语言模型，在 23 种语言上进行了训练。

模型详情

模型架构： 这是一个自回归语言模型，它使用优化的transformer架构。在预训练之后，该模型使用监督微调 (SFT) 和偏好训练来将模型行为与人类对有用性和安全性的偏好对齐。该模型具有三层滑动窗口注意力（窗口大小 4096）和 ROPE，用于高效的局部上下文建模和相对位置编码。第四层使用全局注意力，没有位置嵌入，从而可以跨整个序列进行不受限制的令牌交互。

涵盖的语言： 该模型已经在 23 种语言上进行了训练：英语、法语、西班牙语、意大利语、德语、葡萄牙语、日语、韩语、阿拉伯语、中文、俄语、波兰语、土耳其语、越南语、荷兰语、捷克语、印度尼西亚语、乌克兰语、罗马尼亚语、希腊语、印地语、希伯来语和波斯语。