pxlksr / llama-3-refueled

RefuelLLM-2-small，又称 Llama-3-Refueled

8B

107 拉取次数 3个月前更新

3个月前

6218cd11a005 · 8.5GB

模型
llama
·
8.03B
·
Q8_0
模板
{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>
参数
{"stop":["<|start_header_id|>","<|end_header_id|>","<|eot_id|>","<|reserved_special_token"]}

README

模型详细信息

RefuelLLM-2-small，又称Llama-3-Refueled，是一个在包含2750多个数据集的语料库上进行指令微调的Llama3-8B基础模型。它涵盖了分类、阅读理解、结构化属性抽取和实体解决等多种任务。我们很高兴将模型开源，供社区进一步开发。

模型开发者 - Refuel AI

输入 - 仅文本。

输出 - 仅文本。

架构 - Llama-3-Refueled是基于使用优化变换器结构的自回归语言模型Llama-3-8B-instruct构建的。

发布日期 - 2024年5月8日。

许可 - CC BY-NC 4.0

使用说明

此存储库包含与HuggingFace兼容的Llama-3-Refueled权重。以下是Transformers的用法示例：

>>> import torch
>>> from transformers import AutoModelForCausalLM, AutoTokenizer

>>> model_id = "refuelai/Llama-3-Refueled"
>>> tokenizer = AutoTokenizer.from_pretrained(model_id)
>>> model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto")

>>> messages = [{"role": "user", "content": "Is this comment toxic or non-toxic: RefuelLLM is the new way to label text data!"}]

>>> inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to("cuda")

>>> outputs = model.generate(inputs, max_new_tokens=20)
>>> print(tokenizer.decode(outputs[0]))

训练数据

该模型在覆盖超过40亿标记的2750多个NLP任务上进行训练。我们的训练集合主要包括以下内容：
1. 人工标注的数据集，如Flan、Task Source和Aya集合
2. 合成数据集，如OpenOrca、OpenHermes和WizardLM
3. 由Refuel AI开发或授权的专有数据集

基准测试

在本节中，我们报告了Refuel模型在我们的标记任务基准测试上的结果。有关方法的详细信息，请参阅此处。

提供者模型LLM输出质量（按任务类型分类）
总体分类阅读理解结构抽取实体匹配
加油RefuelLLM-283.82%84.94%76.03%88.16%92.00%
OpenAIGPT-4-Turbo80.88%81.77%72.08%84.79%97.20%
加油RefuelLLM-2-small（Llama-3-Refueled）79.67%81.72%70.04%84.28%92.00%
AnthropicClaude-3-Opus79.19%82.49%67.30%88.25%94.96%
MetaLlama3-70B-Instruct78.20%79.38%66.03%85.96%94.13%
GoogleGemini-1.5-Pro74.59%73.52%60.67%84.27%98.48%
MistralMixtral-8x7B-Instruct62.87%79.11%45.56%47.08%86.52%
AnthropicClaude-3-Sonnet70.99%79.91%45.44%78.10%96.34%
AnthropicClaude-3-Haiku69.23%77.27%50.19%84.97%54.08%
OpenAIGPT-3.5-Turbo68.13%74.39%53.21%69.40%80.41%
MetaLlama3-8B-Instruct62.30%68.52%49.16%65.09%63.61%

局限性

Llama-3-Refueled 没有任何内容审核机制。我们期待与社区合作
寻找方法，使模型更严格地遵守限制，以便在需要审核输出的环境中部署。