C4AI Command R7B 是一个开放权重的研究版本，包含一个 70 亿参数模型，具有先进的功能，针对各种用例进行了优化，包括推理、摘要、问答和代码。该模型经过训练，可以执行复杂的任务，包括检索增强生成 (RAG) 和工具使用。该模型还具有强大的代理能力，能够通过多个步骤使用和组合多个工具来完成更困难的任务。它在企业相关的代码用例中获得了最高的性能。C4AI Command R7B 是一个多语言模型，在 23 种语言上进行了训练。

模型详情

模型架构： 这是一个自回归语言模型，它使用优化的 Transformer 架构。经过预训练后，该模型使用监督微调 (SFT) 和偏好训练，以使模型行为与人类对有用性和安全性的偏好保持一致。该模型具有三层带有滑动窗口注意力（窗口大小 4096）和 ROPE 的结构，用于高效的局部上下文建模和相对位置编码。第四层使用全局注意力而没有位置嵌入，从而可以跨整个序列进行无限制的 token 交互。

涵盖的语言： 该模型已在 23 种语言上进行了训练：英语、法语、西班牙语、意大利语、德语、葡萄牙语、日语、韩语、阿拉伯语、中文、俄语、波兰语、土耳其语、越南语、荷兰语、捷克语、印度尼西亚语、乌克兰语、罗马尼亚语、希腊语、印地语、希伯来语和波斯语。