更新于 2 个月前
2 个月前
472ea1c89f64 · 4.6GB
模型
架构llama
·
参数7.46B
·
量化Q4_K_M
4.6GB
参数
{ "stop": [ "<|system|>", "<|user|>", "<|end|>", "<|assistant|>"
101B
模板
{{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 -}} <|{{ .Role }}|> {
218B
许可
Falcon 3 TII Falcon License December 2024 FalconLLM.tii.ae Introductory note This license is, in
13kB
自述文件
Falcon3 代表 TII 在小于 10B 参数的高效语言模型方面的最新进展，专注于增强科学、数学和代码能力，同时保持训练效率。
主要特点
- 四种尺寸：1B、3B、7B、10B
- 使用深度向上扩展技术从 7B 创建 10B 模型
- 较小模型的知识提炼（1B、3B）
性能亮点
falcon3:1b优于smollm2:1.7b，与gemma2:2b相匹配falcon3:10b在 13B 以下的类别中达到 SOTA- 扩展上下文长度高达 32K 个 token（1B 模型为 8K）