gpt-oss - Ollama 框架

gpt-oss

870万次下载更新于 6个月前

OpenAI 的开放权重模型，专为强大的推理、代理任务和多功能的开发者用例而设计。

工具思考云 20b 120b

ollama run gpt-oss

curl https://:11434/api/chat \
  -d '{
    "model": "gpt-oss",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from ollama import chat

response = chat(
    model='gpt-oss',
    messages=[{'role': 'user', 'content': 'Hello!'}],
)
print(response.message.content)

import ollama from 'ollama'

const response = await ollama.chat({
  model: 'gpt-oss',
  messages: [{role: 'user', content: 'Hello!'}],
})
console.log(response.message.content)

应用

Claude Code

Claude Code ollama launch claude --model gpt-oss

Codex

Codex ollama launch codex --model gpt-oss

OpenCode

OpenCode ollama launch opencode --model gpt-oss

OpenClaw

OpenClaw ollama launch openclaw --model gpt-oss

模型

查看全部 →

名称

5 个模型

大小

上下文

输入

gpt-oss:latest

14GB · 128K 上下文窗口 · 文本 · 6个月前

gpt-oss:latest

14GB

128K

文本

gpt-oss:20b

14GB · 128K 上下文窗口 · 文本 · 6个月前

gpt-oss:20b 最新

14GB

128K

文本

gpt-oss:120b

65GB · 128K 上下文窗口 · 文本 · 6个月前

gpt-oss:120b

65GB

128K

文本

gpt-oss:20b-cloud

128K 上下文窗口 · 文本 · 6个月前

gpt-oss:20b-cloud

-

128K

文本

gpt-oss:120b-cloud

128K 上下文窗口 · 文本 · 6个月前

gpt-oss:120b-cloud

-

128K

文本

自述文件

欢迎使用 OpenAI 的 gpt-oss！

Ollama 与 OpenAI 合作，将 OpenAI 最新的最先进的开放权重模型带到 Ollama。这两种模型，20B 和 120B，带来全新的本地聊天体验，专为强大的推理、代理任务和多功能的开发者用例而设计。

开始使用

您可以从下载最新版本的 Ollama 开始。

该模型可以直接在 Ollama 的新应用程序中或通过终端下载

ollama run gpt-oss:20b

ollama run gpt-oss:120b

特性亮点

代理能力： 使用模型的原生能力进行函数调用、网络浏览（Ollama 正在引入可选择启用内置网络搜索）、python 工具调用和结构化输出。
完整的链式思考： 完全访问模型的推理过程，从而更容易调试并提高对输出的信任。
可配置的推理力度： 根据您的特定用例和延迟需求，轻松调整推理力度（低、中、高）。
可微调： 通过参数微调完全自定义模型以适应您的特定用例。
宽松的 Apache 2.0 许可： 自由构建，无需复制保留限制或专利风险——非常适合实验、定制和商业部署。

量化 - MXFP4 格式

OpenAI 利用量化来减少 gpt-oss 模型的内存占用。这些模型经过了专家混合 (MoE) 权重的量化后训练，采用 MXFP4 格式，其中权重被量化为每个参数 4.25 位。 MoE 权重占总参数数的 90% 以上，将其量化为 MXFP4 使得较小的模型能够在内存仅为 16GB 的系统上运行，而较大的模型能够适应单个 80GB GPU。

Ollama 原生支持 MXFP4 格式，无需额外的量化或转换。为 Ollama 的新引擎开发了新的内核以支持 MXFP4 格式。

Ollama 与 OpenAI 合作，针对参考实现进行基准测试，以确保 Ollama 的实现具有相同的质量。

20B 参数模型

gpt-oss-20b 模型专为低延迟、本地或专业用例而设计。

120B 参数模型

参考

![OpenAI gpt-oss banner](/assets/library/gpt-oss/e9da5025-e172-441d-9f06-8dfa797da9b0)

### Welcome OpenAI's gpt-oss!

Ollama partners with OpenAI to bring its latest state-of-the-art open weight models to Ollama. The two models, 20B and 120B, bring a whole new local chat experience, and are designed for powerful reasoning, agentic tasks, and versatile developer use cases.

### Get started

You can get started by [downloading the latest Ollama version](https://ollama.ac.cn/download).

The model can be downloaded directly in Ollama’s new app or via the terminal:

**ollama run gpt-oss:20b**

**ollama run gpt-oss:120b**

### Feature highlights

- **Agentic capabilities:** Use the models’ native capabilities for function calling, web browsing (Ollama is introducing built-in web search that can be optionally enabled), python tool calls, and structured outputs.
- **Full chain-of-thought:** Gain complete access to the model's reasoning process, facilitating easier debugging and increased trust in outputs.
- **Configurable reasoning effort:** Easily adjust the reasoning effort (low, medium, high) based on your specific use case and latency needs.
- **Fine-tunable:** Fully customize models to your specific use case through parameter fine-tuning.
- **Permissive Apache 2.0 license:** Build freely without copyleft restrictions or patent risk—ideal for experimentation, customization, and commercial deployment.

![benchmark](/assets/library/gpt-oss/d29a500d-303f-4d24-b557-a8247d17ed4c)

### Quantization - MXFP4 format

OpenAI utilizes quantization to reduce the memory footprint of the gpt-oss models. The models are post-trained with quantization of the mixture-of-experts (MoE) weights to MXFP4 format, where the weights are quantized to 4.25 bits per parameter. The MoE weights are responsible for 90+% of the total parameter count, and quantizing these to MXFP4 enables the smaller model to run on systems with as little as 16GB memory, and the larger model to fit on a single 80GB GPU.

Ollama is supporting the MXFP4 format natively without additional quantizations or conversions. New kernels are developed for Ollama’s new engine to support the MXFP4 format.

Ollama collaborated with OpenAI to benchmark against their reference implementations to ensure Ollama’s implementations have the same quality.

### 20B parameter model

![gpt-oss 20B](/assets/library/gpt-oss/343d558d-a3bc-472e-9956-37fdc3cc4f6c)

gpt-oss-20b model is designed for lower latency, local, or specialized use-cases.

### 120B parameter model

![gpt-oss 120B](/assets/library/gpt-oss/51b69d33-c747-4117-ba76-a6efa1b0a986)

### Reference

- [OpenAI launch blog](https://openai.com/index/introducing-gpt-oss)
- [OpenAI model card](https://openai.com/index/gpt-oss-model-card/)
- [NVIDIA RTX blog](https://blogs.nvidia.com/blog/rtx-ai-garage-openai-oss)
- [NVIDIA cloud to edge](https://developer.nvidia.com/blog/delivering-1-5-m-tps-inference-on-nvidia-gb200-nvl72-nvidia-accelerates-openai-gpt-oss-models-from-cloud-to-edge/)

粘贴、拖放或单击以上传图像（.png、.jpeg、.jpg、.svg、.gif）