Sailor2 是为东南亚设计的多语种语言模型。提供 1B、8B 和 20B 参数大小的版本。

1b 8b 20b

9,799 3 个月前

自述文件

logo

Sailor2 是一项社区驱动的倡议,旨在为东南亚 (SEA) 带来最先进的多语种语言模型。我们的研究强调了对用于生产的8B 和 20B参数范围内的模型的强烈需求,以及用于推测性解码和研究等专门应用的1B 模型。这些模型根据 Apache 2.0 许可发布,为该地区的高级语言技术提供了更高的可访问性。

Sailor2 构建在出色的多语种模型 Qwen 2.5 的基础上,并持续在 500B 个 token 上进行预训练,以通过统一模型更好地支持 15 种语言。 这些语言包括英语、中文、缅甸语、宿务语、伊洛卡诺语、印度尼西亚语、爪哇语、高棉语、老挝语、马来语、巽他语、他加禄语、泰语、越南语和瓦雷语。 通过满足对多样化、强大且可访问的语言模型日益增长的需求,Sailor2 致力于为 SEA 地区服务不足的群体提供开放、包容且可访问的多语种 LLM。 Sailor2 模型有三种尺寸:1B、8B 和 20B,分别从 Qwen2.5 的 0.5B、7B 和 14B 基础模型扩展而来。