自述文件
Orca Mini 是一个 Llama 和 Llama 2 模型,在 Orca Style 数据集上训练,该数据集使用论文《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》中定义的方法创建。 有两种变体可用。 基于 Llama 的原始 Orca Mini 有 30 亿、70 亿和 130 亿个参数大小,而 v3 基于 Llama 2 有 70 亿、130 亿和 700 亿个参数大小。
用法
CLI (命令行界面)
打开终端并运行 ollama run orca-mini
API (应用程序编程接口)
示例
curl -X POST http://localhost:11434/api/generate -d '{
"model": "orca-mini",
"prompt":"Why is the sky blue?"
}'
内存需求
- 7b 模型通常至少需要 8GB 内存
- 13b 模型通常至少需要 16GB 内存
- 70b 模型通常至少需要 64GB 内存
参考
3b 参数原始来源:Pankaj Mathur
7b 参数原始来源:Pankaj Mathur
13b 参数原始来源:Pankaj Mathur
Ollama 上的 Orca Mini v3 来源
13b 参数原始来源:Pankaj Mathur
70b 参数来源:Pankaj Mathur