自述文件
Sailor2 是一项社区驱动的倡议,旨在为东南亚 (SEA) 带来最先进的多语言语言模型。 我们的研究强调,生产用途对 8B 和 20B 参数范围的模型有强烈的需求,同时对专业应用(例如推测解码和研究目的)的 1B 模型也有需求。 这些模型以 Apache 2.0 许可证发布,可在整个地区增强对高级语言技术的访问。
Sailor2 以强大的多语言模型 Qwen 2.5 为基础构建,并在 500B 个 token 上持续预训练,以支持包含英语、中文、缅甸语、宿务语、伊洛卡诺语、印度尼西亚语、爪哇语、高棉语、老挝语、马来语、巽他语、他加禄语、泰语、越南语和瓦瑞语的 15 种语言。 通过满足对多样化、强大和可访问的语言模型日益增长的需求,Sailor2 旨在通过开放、包容和可访问的多语言 LLM 为 SEA 地区服务不足的地区提供服务。 Sailor2 模型有三种尺寸:1B、8B 和 20B,它们分别从 Qwen2.5 的 0.5B、7B 和 14B 基础模型扩展而来。