TinyLlama 项目是一个开放的努力,旨在用 3 万亿个 tokens 训练一个紧凑的 11 亿参数 Llama 模型。

11亿

130万 14 个月前

自述文件

TinyLlama 是一个紧凑的模型,只有 11 亿个参数。这种紧凑性使其能够满足多种需要受限计算和内存占用量的应用。

参考资料

Hugging Face

GitHub