TinyLlama 项目是一个开放的计划,旨在训练一个紧凑的 1.1B Llama 模型,使用 3 万亿个 tokens。

1.1b

130万 14个月前

自述文件

TinyLlama 是一个仅有 1.1B 参数的紧凑模型。 这种紧凑性使其能够满足许多需要受限计算和内存占用空间的应用程序。

参考资料

Hugging Face

GitHub