falcon3

一系列小于100亿参数的高效AI模型，通过创新的训练技术在科学、数学和编码方面表现出色。

1b 3b 7b 10b

42.2K 拉取更新于 2 个月前

更新于 2 个月前

2 个月前

1653ff122acd · 6.3GB

{ "stop": [ "<|system|>", "<|user|>", "<|end|>", "<|assistant|>"

{{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 -}} <|{{ .Role }}|> {

Falcon 3 TII Falcon License December 2024 FalconLLM.tii.ae Introductory note This license is, in

自述文件

Falcon3代表TII在100亿参数以下的效率语言模型方面的最新进展，专注于增强科学、数学和代码能力，同时保持训练效率。

主要特点

四种尺寸：1B、3B、7B、10B
深度向上扩展技术用于从7B创建10B模型
知识蒸馏用于较小的模型 (1B, 3B)

性能亮点

falcon3:1b 优于 smollm2:1.7b，与 gemma2:2b 相当
falcon3:10b 在小于 13B 的类别中达到 SOTA（State-of-the-art，最先进水平）
扩展上下文长度最多可达 32K 个 tokens（1B 模型为 8K）

参考