Sailor2是为东南亚设计的多语言语言模型。提供1B、8B和20B三种参数大小。

1b 8b 20b

9,796 3 个月前

自述文件

logo

Sailor2是一项社区驱动的倡议,旨在为东南亚 (SEA) 带来尖端的多语言语言模型。我们的研究强调了对用于生产的8B和20B参数范围模型以及用于专门应用程序(例如推测性解码和研究目的)的 1B 模型的强烈需求。这些模型以 Apache 2.0 许可证发布,提高了该地区对先进语言技术的可访问性。

Sailor2 以出色的多语言模型 Qwen 2.5 为基础,并持续预训练 500B 个 tokens,以更好地支持 15 种语言,并采用统一的模型。这些语言包括英语、中文、缅甸语、宿务语、伊洛卡诺语、印度尼西亚语、爪哇语、高棉语、老挝语、马来语、巽他语、他加禄语、泰语、越南语和瓦瑞语。通过满足对多样化、强大且易于访问的语言模型日益增长的需求,Sailor2 致力于通过开放、包容和易于访问的多语言 LLM 为东南亚地区服务不足的人群提供服务。Sailor2 模型有三种尺寸,分别为 1B、8B 和 20B,它们分别从 Qwen2.5 的 0.5B、7B 和 14B 基础模型扩展而来。