gemma3:1b

31.8M 2 个月前

当前最强大的,可在单个 GPU 上运行的模型。

视觉 2.7 亿 10 亿 40 亿 120 亿 270 亿
ollama run gemma3:1b

详情

10 个月前

8648f39daa8f · 815MB ·

gemma3
·
1000M
·
Q4_K_M
Gemma 使用条款 最后修改日期:2024 年 2 月 21 日 通过使用、复制、修改、分发、
{{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 }} {{- if or (eq .Rol
{ "stop": [ "<end_of_turn>" ], "temperature": 1, "top_k": 64, "top_p": 0

自述文件

Google Gemma 3 logo

此模型需要 Ollama 0.6 或更高版本。 下载 Ollama

Gemma 是 Google 基于 Gemini 技术构建的轻量级模型系列。Gemma 3 模型是多模态的——处理文本和图像——并具有 128K 的上下文窗口,支持超过 140 种语言。它们提供 2.7 亿、10 亿、40 亿、120 亿和 270 亿参数大小,在问答、摘要和推理等任务中表现出色,同时其紧凑的设计允许部署在资源受限的设备上。

模型

文本

2.7 亿参数模型(32k 上下文窗口)

ollama run gemma3:270m

10 亿参数模型(32k 上下文窗口)

ollama run gemma3:1b 

多模态(视觉)

40 亿参数模型(128k 上下文窗口)

ollama run gemma3:4b

120 亿参数模型(128k 上下文窗口)

ollama run gemma3:12b

270 亿参数模型(128k 上下文窗口)

ollama run gemma3:27b

感知量化训练模型 (QAT)

感知量化训练的 Gemma 3 模型在保持较低内存占用(与非量化模型相比减少 3 倍)的同时,保留了与半精度模型 (BF16) 相似的质量。

10 亿参数模型

ollama run gemma3:1b-it-qat

40 亿参数模型

ollama run gemma3:4b-it-qat

120 亿参数模型

ollama run gemma3:12b-it-qat

270 亿参数模型

ollama run gemma3:27b-it-qat

评估

Chatbot Arena ELO Score

基准测试结果

Gemma 3 2.7 亿

基准测试 n-shot Gemma 3 2.7 亿指令调整
HellaSwag 0-shot 37.7
PIQA 0-shot 66.2
ARC-c 0-shot 28.2
WinoGrande 0-shot 52.3
BIG-Bench Hard few-shot 26.7
IF Eval 0-shot 51.2

这些模型针对大量不同的数据集和指标进行了评估,以涵盖文本生成的不同方面

推理、逻辑和代码能力

基准测试 指标 Gemma 3 PT 10 亿 Gemma 3 PT 40 亿 Gemma 3 PT 120 亿 Gemma 3 PT 270 亿
HellaSwag 10-shot 62.3 77.2 84.2 85.6
BoolQ 0-shot 63.2 72.3 78.8 82.4
PIQA 0-shot 73.8 79.6 81.8 83.3
SocialIQA 0-shot 48.9 51.9 53.4 54.9
TriviaQA 5-shot 39.8 65.8 78.2 85.5
Natural Questions 5-shot 9.48 20.0 31.4 36.1
ARC-c 25-shot 38.4 56.2 68.9 70.6
ARC-e 0-shot 73.0 82.4 88.3 89.0
WinoGrande 5-shot 58.2 64.7 74.3 78.8
BIG-Bench Hard 28.4 50.9 72.6 77.7
DROP 3-shot,F1 42.4 60.1 72.2 77.2
AGIEval 3-5-shot 22.2 42.1 57.4 66.2
MMLU 5-shot,top-1 26.5 59.6 74.5 78.6
MATH 4-shot 24.2 43.3 50.0
GSM8K 5-shot,maj@1 1.36 38.4 71.0 82.6
GPQA 9.38 15.0 25.4 24.3
MMLU (Pro) 5-shot 11.2 23.7 40.8 43.9
MBPP 3-shot 9.80 46.0 60.4 65.6
HumanEval pass@1 6.10 36.0 45.7 48.8
MMLU (Pro COT) 5-shot 9.7 NaN NaN NaN

多语言能力

基准测试 Gemma 3 PT 10 亿 Gemma 3 PT 40 亿 Gemma 3 PT 120 亿 Gemma 3 PT 270 亿
MGSM 2.04 34.7 64.3 74.3
Global-MMLU-Lite 24.9 57.0 69.4 75.7
Belebele 26.6 59.4 78.0
WMT24++ (ChrF) 36.7 48.4 53.9 55.7
FloRes 29.5 39.2 46.0 48.8
XL-Sum 4.82 8.55 12.2 14.9
XQuAD (全部) 43.9 68.0 74.5 76.8

多模态能力

基准测试 Gemma 3 PT 40 亿 Gemma 3 PT 120 亿 Gemma 3 PT 270 亿
COCOcap 102 111 116
DocVQA (val) 72.8 82.3 85.6
InfoVQA (val) 44.1 54.8 59.4
MMMU (pt) 39.2 50.3 56.1
TextVQA (val) 58.9 66.5 68.6
RealWorldQA 45.5 52.2 53.9
ReMI 27.3 38.5 44.8
AI2D 63.2 75.2 79.0
ChartQA 45.4 60.9 63.8
ChartQA (增强版) 81.8 88.5 88.7
VQAv2
BLINK 38.0 35.9 39.6
OKVQA 51.0 58.7 60.2
TallyQA 42.5 51.8 54.3
SpatialSense VQA 50.9 60.0 59.4
CountBenchQA 26.1 17.8 68.0

参考

Gemma 使用条款