更新于 5 周前
5 周前
8039dd90c113 · 14GB
模型
架构llama
·
参数23.6B
·
量化Q4_K_M
14GB
参数
{ "temperature": 0.15 }
21B
系统
您是 Mistral Small 3,一个由法国初创公司 Mistral AI 创建的大型语言模型 (LLM)。
644B
模板
{{- range $index, $_ := .Messages }} {{- if eq .Role "system" }}[SYSTEM_PROMPT]{{ .Content }}[/SYSTE
695B
许可证
Apache License Version 2.0, January 2004
11kB
自述文件
Mistral Small 3 在 70B 以下的“小型”大型语言模型类别中树立了新的标杆,拥有 24B 参数,并实现了与更大型模型相媲美的最先进的功能。
Mistral Small 可以在本地部署,并且非常“知识密集”,量化后可以放入单个 RTX 4090 或 32GB RAM MacBook 中。 非常适合
- 快速响应的对话代理。
- 低延迟函数调用。
- 通过微调的学科专家。
- 适用于处理敏感数据的业余爱好者和组织的本地推理。
主要特点
- 多语言: 支持数十种语言,包括英语、法语、德语、西班牙语、意大利语、中文、日语、韩语、葡萄牙语、荷兰语和波兰语。
- 以代理为中心: 提供一流的代理功能,具有原生函数调用和 JSON 输出。
- 高级推理: 最先进的对话和推理能力。
- Apache 2.0 许可证: 开放许可证,允许用于商业和非商业目的的用法和修改。
- 上下文窗口: 32k 上下文窗口。
- 系统提示: 保持对系统提示的强大依附和支持。
- 分词器: 使用具有 131k 词汇量的 Tekken 分词器。
人工评估
我们与外部第三方供应商进行了一系列并排评估,评估基于一组超过 1k 个专有编码和通用提示。 评估人员的任务是从 Mistral Small 3 与另一个模型生成的匿名生成结果中选择他们喜欢的模型响应。 我们知道,在某些情况下,对人类判断的基准测试与公开可用的基准测试截然不同,但我们在验证公平评估时格外谨慎。 我们确信以上基准测试是有效的。
指导性能
我们的指令调整模型在代码、数学、通用知识和指令遵循基准测试中,其性能与体积是其三倍的开放权重模型和专有 GPT4o-mini 模型具有竞争力。
所有基准测试的性能准确性均通过相同的内部评估流程获得 - 因此,数字可能与先前报告的性能略有不同(Qwen2.5-32B-Instruct、Llama-3.3-70B-Instruct、Gemma-2-27B-IT)。 Wildbench、Arena hard 和 MTBench 等基于判断的评估基于 gpt-4o-2024-05-13。
客户正在评估 Mistral Small 3 在多个行业中的应用,包括
- 金融服务客户用于欺诈检测
- 医疗保健提供商用于客户分类
- 机器人、汽车和制造公司用于设备上的命令和控制
- 跨客户的横向用例包括虚拟客户服务以及情感和反馈分析。