pxlksr / llama-3-refueled

模型详细信息

RefuelLLM-2-small，又称Llama-3-Refueled，是一个基于Llama-3-8B基础模型并针对超过2750个数据集的语料库进行指令调优的模型，涵盖了分类、阅读理解、结构化属性提取和实体解析等任务。我们很高兴开源这个模型，让社区可以在其基础上进行构建。

• 有关RefuelLLM-2模型系列的更多细节
  
• 您也可以在我们的LLM沙箱中试用这些模型
  

模型开发者 - Refuel AI

输入 - 仅文本。

输出 - 仅文本。

架构 - Llama-3-Refueled建立在Llama-3-8B-instruct之上，它是一个自回归语言模型，使用了优化的变换器架构。

发布日期 - 2024年5月8日。

许可协议 - CC BY-NC 4.0

使用方法

此存储库包含与HuggingFace兼容的Llama-3-Refueled权重。以下是如何使用Transformers的示例片段：

>>> import torch
>>> from transformers import AutoModelForCausalLM, AutoTokenizer

>>> model_id = "refuelai/Llama-3-Refueled"
>>> tokenizer = AutoTokenizer.from_pretrained(model_id)
>>> model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto")

>>> messages = [{"role": "user", "content": "Is this comment toxic or non-toxic: RefuelLLM is the new way to label text data!"}]

>>> inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to("cuda")

>>> outputs = model.generate(inputs, max_new_tokens=20)
>>> print(tokenizer.decode(outputs[0]))

训练数据

该模型是在超过40亿个标记上训练的，跨越了2750多个NLP任务。我们的训练集合主要包含以下内容：
1. 人标注的数据集，如Flan、Task Source和Aya收藏
2. 人工合成的数据集，如OpenOrca、OpenHermes和WizardLM
3. Refuel AI开发或授权的私有数据集

基准测试

在本节中，我们报告了Refuel模型在我们的标注任务基准测试上的结果。有关方法的详细信息，请参阅此处。

限制

Llama-3-Refueled 没有任何内容审核机制。我们期待与社区合作
，探讨如何使模型更精细地遵守束缚，以便在需要经过审核的输出环境中部署。