RefuelLLM-2-small，又名Llama-3-Refueled

8B

3个月前

0cb847ea2ba5 · 16GB

模型
llama
·
8.03B
·
F16
模板
{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>
参数
{"stop":["<|start_header_id|>","<|end_header_id|>","<|eot_id|>","<|reserved_special_token"]}

README

模型详细信息

RefuelLLM-2-small，也称Llama-3-Refueled，是在覆盖诸如分类、阅读理解、结构化属性提取和实体解析等任务的2750+数据集上进行指令微调的Llama3-8B基础模型。我们很激动能够开源这个模型，供社区在上面进行构建。

模型开发者 - Refuel AI

输入 - 仅文本。

输出 - 仅文本。

架构 - Llama-3-Refueled是基于Llama-3-8B-instruct构建的，它是一个自回归语言模型，使用改进的Transformer架构。

发布日期 - 2024年5月8日。

许可 - CC BY-NC 4.0

使用方法

此存储库包含与HuggingFace兼容的Llama-3-Refueled权重。以下示例展示如何与Transformers一起使用：

>>> import torch
>>> from transformers import AutoModelForCausalLM, AutoTokenizer

>>> model_id = "refuelai/Llama-3-Refueled"
>>> tokenizer = AutoTokenizer.from_pretrained(model_id)
>>> model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto")

>>> messages = [{"role": "user", "content": "Is this comment toxic or non-toxic: RefuelLLM is the new way to label text data!"}]

>>> inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to("cuda")

>>> outputs = model.generate(inputs, max_new_tokens=20)
>>> print(tokenizer.decode(outputs[0]))

训练数据

该模型在超过40亿个token上进行了训练，覆盖了2750+个NLP任务。我们的训练集主要包括
1. 类似于Flan、Task Source和Aya集合的人类标注数据集
2. 类似于OpenOrca、OpenHermes和WizardLM的合成数据集
3. 由Refuel AI开发或授权的专有数据集

基准测试

在本节中，我们报告了Refuel模型在标注任务基准测试中的结果。有关方法的详细信息，请参阅此处。

供应商模型LLM输出质量（按任务类型）
总体分类阅读理解结构提取实体匹配
RefuelRefuelLLM-283.82%84.94%76.03%88.16%92.00%
OpenAIGPT-4-Turbo80.88%81.77%72.08%84.79%97.20%
RefuelRefuelLLM-2-small（Llama-3-Refueled）79.67%81.72%70.04%84.28%92.00%
AnthropicClaude-3-Opus79.19%82.49%67.30%88.25%94.96%
MetaLlama3-70B-Instruct78.20%79.38%66.03%85.96%94.13%
GoogleGemini-1.5-Pro74.59%73.52%60.67%84.27%98.48%
MistralMixtral-8x7B-Instruct62.87%79.11%45.56%47.08%86.52%
AnthropicClaude-3-Sonnet70.99%79.91%45.44%78.10%96.34%
AnthropicClaude-3-Haiku69.23%77.27%50.19%84.97%54.08%
OpenAIGPT-3.5-Turbo68.13%74.39%53.21%69.40%80.41%
MetaLLama3-8B-Instruct62.30%68.52%49.16%65.09%63.61%

局限性

LLama-3-Refueled不具备任何调节机制。我们期待与社区合作
探讨使模型尊重指南以实现更精细化的控制，从而在需要调节输出环境的部署中使用。