Stable LM 2 是一个先进的 16 亿和 120 亿参数语言模型,使用英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语的多语言数据进行训练。

16亿(1.6b) 120亿(12b)

10.81万(108.1K) 10个月前(10 months ago)

自述文件(Readme)

Stable LM 2 1.6B 是一个先进的 16 亿和 120 亿参数小型语言模型,使用英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语的多语言数据进行训练。

该模型使用公开可用的数据集和合成数据集进行训练,并利用直接偏好优化 (DPO)。

参考文献(References)

公告(Announcement)

HuggingFace