everythinglm:13b-16k-q5_K_S

506.1K 次下载更新于 2年前

基于 Llama2 的无审查模型，支持 16K 的上下文窗口。

13b

ollama run everythinglm:13b-16k-q5_K_S

curl https://:11434/api/chat \
  -d '{
    "model": "everythinglm:13b-16k-q5_K_S",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from ollama import chat

response = chat(
    model='everythinglm:13b-16k-q5_K_S',
    messages=[{'role': 'user', 'content': 'Hello!'}],
)
print(response.message.content)

import ollama from 'ollama'

const response = await ollama.chat({
  model: 'everythinglm:13b-16k-q5_K_S',
  messages: [{role: 'user', content: 'Hello!'}],
})
console.log(response.message.content)

详情

更新于 2 年前

2 年前

8311ea92c147 · 9.0GB ·

模型

架构llama

参数13B

量化Q5_K_S

9.0GB

许可

LLAMA 2 社区许可协议 Llama 2 版本发布日期：2023 年 7 月 18 日 “协议” 指的是本

7.0kB

系统

你是一个乐于助人的 AI 助手。

31B

参数

{ "stop": [ "User:", "Assistant:" ] }

32B

模板

{{ .System }} User: {{ .Prompt }} Assistant

45B

自述文件

Everything Language Model 是一个基于 Llama 2 的模型，具有 16k 上下文，由 Totally Not An LLM (Kai Howard) 发布。它使用 EverythingLM 数据集训练，并且是无审查的。

CLI

ollama run everythinglm

加载后，将上下文大小更改为 16K

/set parameter num_ctx 16384

API

示例

curl -X POST https://:11434/api/generate -d '{
  "model": "everythinglm",
  "prompt": "Why is the sky blue?"
  "options": {
    "num_ctx": 16384
  }
 }'

参考

13b 参数原始来源: Totally Not An LLM