orca-mini:13b-v3-q3_K_S - Ollama 框架

Orca Mini 是一个 Llama 和 Llama 2 模型，它是在 Orca Style 数据集上训练的，这些数据集是使用 Orca 论文中定义的方法创建的：通过 GPT-4 的复杂解释跟踪进行渐进式学习。有两种变体可用。基于 Llama 的原始 Orca Mini 有 30 亿、70 亿和 130 亿参数大小，而 v3 基于 Llama 2，有 70 亿、130 亿和 700 亿参数大小。

用法

命令行界面 (CLI)

打开终端并运行 ollama run orca-mini

应用程序编程接口 (API)

示例

  curl -X POST http://localhost:11434/api/generate -d '{
    "model": "orca-mini",
    "prompt":"Why is the sky blue?"
   }'

内存要求

70 亿参数的模型通常需要至少 8GB 内存
130 亿参数的模型通常需要至少 16GB 内存
700 亿参数的模型通常需要至少 64GB 内存

参考

30 亿参数的原始来源：Pankaj Mathur

70 亿参数的原始来源：Pankaj Mathur

130 亿参数的原始来源：Pankaj Mathur

Ollama 上的 Orca Mini v3 来源

130 亿参数的原始来源：Pankaj Mathur

700 亿参数的来源：Pankaj Mathur

Orca：通过 GPT-4 的复杂解释跟踪进行渐进式学习

Orca Mini is a Llama and Llama 2 model trained on Orca Style datasets created using the approaches defined in the paper, Orca: Progressive Learning from Complex Explanation Traces of GPT-4. There are two variations available. The original Orca Mini based on Llama in 3, 7, and 13 billion parameter sizes, and v3 based on Llama 2 in 7, 13, and 70 billion parameter sizes.

## Usage

### CLI

Open the terminal and run `ollama run orca-mini`

### API

Example:

```bash
  curl -X POST http://localhost:11434/api/generate -d '{
    "model": "orca-mini",
    "prompt":"Why is the sky blue?"
   }'
  ```

## Memory requirements

- 7b models generally require at least 8GB of RAM
- 13b models generally require at least 16GB of RAM
- 70b models generally require at least 64GB of RAM

## Reference

3b parameters original source:
 [Pankaj Mathur](https://hugging-face.cn/psmathur/orca_mini_3b)

7b parameters original source:
 [Pankaj Mathur](https://hugging-face.cn/psmathur/orca_mini_7b)

13b parameters original source:
 [Pankaj Mathur](https://hugging-face.cn/psmathur/orca_mini_13b)

**Orca Mini v3 source on Ollama**

13b parameters original source:
 [Pankaj Mathur](https://hugging-face.cn/psmathur/orca_mini_v3_13b)

70b parameters source:
 [Pankaj Mathur](https://hugging-face.cn/psmathur/orca_mini_v3_70b)

[Orca: Progressive Learning from Complex Explanation Traces of GPT-4](https://arxiv.org/abs/2306.02707 )

粘贴、拖放或单击以上传图像 (.png, .jpeg, .jpg, .svg, .gif)