orca-mini:70b-v3-fp16 - Ollama 框架

Orca Mini 是一个基于 Llama 和 Llama 2 的模型，使用 Orca Style 数据集进行训练，这些数据集使用论文《Orca: 从 GPT-4 的复杂解释跟踪中进行渐进学习》中定义的方法创建。有两种变体可用。最初的 Orca Mini 基于 Llama，有 30 亿、70 亿和 130 亿参数大小，而 v3 基于 Llama 2，有 70 亿、130 亿和 700 亿参数大小。

使用方法

命令行界面 (CLI)

打开终端并运行 ollama run orca-mini

应用程序编程接口 (API)

示例

  curl -X POST http://localhost:11434/api/generate -d '{
    "model": "orca-mini",
    "prompt":"Why is the sky blue?"
   }'

内存要求

7b 模型通常至少需要 8GB 的 RAM
13b 模型通常至少需要 16GB 的 RAM
70b 模型通常至少需要 64GB 的 RAM

参考

3b 参数原始来源：Pankaj Mathur

7b 参数原始来源：Pankaj Mathur

13b 参数原始来源：Pankaj Mathur

Ollama 上的 Orca Mini v3 来源

13b 参数原始来源：Pankaj Mathur

70b 参数来源：Pankaj Mathur

Orca：从 GPT-4 的复杂解释跟踪中进行渐进学习

Orca Mini is a Llama and Llama 2 model trained on Orca Style datasets created using the approaches defined in the paper, Orca: Progressive Learning from Complex Explanation Traces of GPT-4. There are two variations available. The original Orca Mini based on Llama in 3, 7, and 13 billion parameter sizes, and v3 based on Llama 2 in 7, 13, and 70 billion parameter sizes.

## Usage

### CLI

Open the terminal and run `ollama run orca-mini`

### API

Example:

```bash
  curl -X POST http://localhost:11434/api/generate -d '{
    "model": "orca-mini",
    "prompt":"Why is the sky blue?"
   }'
  ```

## Memory requirements

- 7b models generally require at least 8GB of RAM
- 13b models generally require at least 16GB of RAM
- 70b models generally require at least 64GB of RAM

## Reference

3b parameters original source:
 [Pankaj Mathur](https://hugging-face.cn/psmathur/orca_mini_3b)

7b parameters original source:
 [Pankaj Mathur](https://hugging-face.cn/psmathur/orca_mini_7b)

13b parameters original source:
 [Pankaj Mathur](https://hugging-face.cn/psmathur/orca_mini_13b)

**Orca Mini v3 source on Ollama**

13b parameters original source:
 [Pankaj Mathur](https://hugging-face.cn/psmathur/orca_mini_v3_13b)

70b parameters source:
 [Pankaj Mathur](https://hugging-face.cn/psmathur/orca_mini_v3_70b)

[Orca: Progressive Learning from Complex Explanation Traces of GPT-4](https://arxiv.org/abs/2306.02707 )

粘贴、拖放或单击以上传图像 (.png、.jpeg、.jpg、.svg、.gif)