更新于 2 个月前
2 个月前
945eb1864589 · 3.6GB
模型
架构qwen2
·
参数3.4B
·
量化Q8_0
3.6GB
系统
你是一个乐于助人的助手。
28B
模板
{{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 -}} <|im_start|>{{ .R
255B
许可
Qwen RESEARCH LICENSE AGREEMENT Qwen RESEARCH LICENSE AGREEMENT Release Date: September 19, 2024 B
7.4kB
自述文件
一个基于 Qwen2.5-3b-Instruct 模型微调的新模型。
SmallThinker 专为以下用例而设计
- 边缘部署：其小尺寸使其成为在资源受限设备上部署的理想选择。
- QwQ-32B-Preview 的草稿模型：SmallThinker 可以作为更大的 QwQ-32B-Preview 模型的快速高效的草稿模型，从而提高 70% 的速度。
为了实现推理能力，至关重要的是生成长的 COT 推理链。 因此，基于 QWQ-32B-Preview，作者使用了各种合成技术（例如 personahub）来创建 QWQ-LONGCOT-500K 数据集。 与其他类似数据集相比，作者超过 75% 的样本的输出 tokens 超过 8K。 为了鼓励开源社区的研究，该数据集也被公开提供。