rjmalagon / l3-aethora-15b-v2

7 拉取 更新于5周前

5周前

ef8fc1578e72 · 16GB

模型
llama
·
15.0B
·
Q8_0
模板
{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>
params
{"num_keep":24,"stop":["<|start_header_id|>","<|end_header_id|>","<|eot_id|>"]}

安装指南












L3-Aethora-15B v2





提供者：


创作者：ZeusLabs



数据集： Theskullery/Aether-Lite-V1.8.1


训练： 4 x A100，进行了17.5小时，125k样本


赞助方： Garg (@g4rg)


关于L3-Aethora-15B v2


 L3 = Llama3

L3-Aethora-15B v2是一款基于Llama 3架构的高级语言模型。它采用最先进的训练技术以及精心挑选的数据集，以提高在各种任务中的性能。


(感谢大家的关注！该模型在所有格式中已超过150k次下载！)


量化



训练流程



  • 基础模型：elinas/Llama-3-15B-Instruct-zeroed

  • 训练时间：4 x A100 GPU，耗时17.5小时

  • 训练方法：LoRA（低秩自适应）

  • 轮数：4轮

  • 精度：BF16

  • 序列长度：8192个令牌


模型功能


L3-Aethora-15B v2的目标是在广泛任务中提高能力，重点是创意写作



  • 创意写作和讲故事

    • 生成引人入胜的叙事、诗歌和创意内容

    • 适应各种体裁和语调的写作风格

    • 辅助剧情发展和角色创作



  • 综合智能

    • 就医学主题和科学概念进行详细讨论

    • 解释复杂的科学现象

    • 辅助文献综述和假说生成



  • 指导性和教育性内容

    • 创建全面的教程和指南

    • 以清晰和适当的深度解释复杂主题

    • 为各种技能水平生成教育材料



  • 推理和问题解决

    • 分析复杂场景并提供逻辑解决方案

    • 在不同的领域进行逐步问题解决

    • 对具有挑战性的问题提供多角度的见解



  • 情境理解和适应性

    • 在持久交互中保持连贯、情境感知的对话

    • 根据用户的喜好和需求调整沟通风格

    • 用适当的深度和敏感性处理细微的查询



数据集创建流程


L3-Aethora-15B v2 训练所使用 Aether-Lite-V1.8.1 数据集经历了严格的创建和编纂过程



  1. 数据收集：从 12 个多样化的高质量数据集中聚合，包括

    • jondurbin/airoboros-3.2

    • jtatman/medical-sci-instruct-100k-sharegpt

    • Doctor-Shotgun/no-robots-sharegpt

    • QuietImpostor/Sao10K-Claude-3-Opus-Instruct-15K-ShareGPT

    • TheSkullery/WizardLM_evol_instruct_v2_Filtered_Fuzzy_Dedup_ShareGPT

    • TheSkullery/Gryphe-Opus-WritingPrompts-merged

    • Alignment-Lab-AI/RPGuild-sharegpt-filtered

    • 以及其他，提供了丰富的指令、创意写作和专业知识混合



  2. 数据处理

    • 语言检测：利用 FastText 语言模型确保英文内容

    • 文本清理：清理并规范化文本，移除或替换有问题的字符

    • 短语过滤：移除特定的不想内容短语和类型



  3. 去重

    • 实现了带有 95% 相似度阈值的先进模糊去重

    • 利用文本嵌入和余弦相似度计算进行高效比较

    • 移除了 16,250 个重复条目，确保数据集的唯一性



  4. 数据平衡

    • 从每个源数据集中仔细采样以保持多样性

    • 实现数据打乱以确保样本的随机分布



最终数据集包含 125,119 个高质量、多样化的样本，在创新性、实用性知识和知识深度之间取得了平衡。


使用的完整数据集已公开发布，可供所有人使用（见展示部分），任何想法或建议都欢迎使用以进一步扩展数据集





开放 LLM 排行榜评估结果

详细结果可在此找到：这里

指标 值
平均 24.57
IFEval (0-Shot) 72.08
BBH (3-Shot) 28.97
MATH Lvl 5 (4-Shot) 7.33
GPQA (0-shot) 5.03
MuSR (0-shot) 6.25
MMLU-PRO (5-shot) 27.78

https://hugging-face.cn/ZeusLabs/L3-Aethora-15B-V2