cwchang / llama3-taide-lx-8b-chat-alpha1

李马3-TAIDE模型是由国家应用研究实验室开发和建设的。

8B

979 回拉 更新于7周前

7周前

7b7500bfc1db · 5.6GB

模型
llama
·
8.03B
·
Q5_K_S
参数
{"num_ctx":8192,"stop":["<|start_header_id|>","<|end_header_id|>","<|eot_id|>","<|reserved_special_token"]}
模板
"{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>""

README

描述

本仓包含 Llama3-TAIDE-LX-8B-Chat-Alpha1 的 GGUF 格式模型文件。

关于 GGUF

GGUF 是 llama.cpp 队于 2023 年 8 月 21 日起提出的新格式。它是 GGML 的替代品，不再被 llama.cpp 支持使用。

提供的文件

名称 量化方法 位数 大小 用途
Llama3-TAIDE-LX-8B-Chat-Alpha1-GGUF.Q5_K_M.gguf Q5_K_M 5 5.73 GB 大，损失很低
Llama3-TAIDE-LX-8B-Chat-Alpha1-GGUF.Q6_K.gguf Q6_K 6 6.6 GB 极大，损失极低

原始模型卡

模型简介

  • TAIDE项目致力于开发符合台湾语言和文化特性的生成式人工智能对话引擎模型，同时构建可信的人工智能环境。结合产学研力量，推动可信生成式人工智能的发展，提升台湾在国际竞争中的地位，促进产业发展，避免对外国技术的依赖。
  • Llama3 TAIDE 系列模型以 Meta 公司发布的 LLaMA3-8b 为基础，引入台湾不同领域的文本与训练素材，提高模型在繁体中文回应的能力与特定任务的表现。公开发布的模型如下
    • Llama3-TAIDE-LX-8B-Chat-Alpha1：以 LLaMA3-8b 为基础，使用繁体中文数据进行预训练 (continuous pretraining)，并通过指令微调(instruction tuning)加强办公室常用任务和多轮问答对话能力，适合聊天对话或任务协助的使用场景。Llama3-TAIDE-LX-8B-Chat-Alpha1 另外提供4 bit 量化模型，量化模型主要是提供使用者的便利性，可能会影响性能与更多不可预见的错误，请用户理解并注意。

模型参数

  • 参数量: 8B
  • 最大内容长度 (context length): 8K
  • 繁中训练数据 token 数量: 43B
  • 训练时间: 2336 H100 GPU Hours

特点

  • 严格审查模型的训练数据，提升模型生成数据的可信性和适用性
  • 针对自动摘要、写信、写文章、中翻英、英翻中等办公室常用任务做加强
  • 针对台湾在地文化、用词、国情等知识做加强
  • 具备多轮问答对话能力

应用示例

任务 用户输入 模型输出
写文章 请以下内容为基础，写一篇文章：以以下内容为基础，写一篇文章：撰写一篇作文，题目为《一张旧照片》，内容要求为：选择一张令你印象深刻的照片，说明令你印象深刻的原因，并描述照片中的影像及背后的故事。记录成长的过程、与他人的情景、环境变化和美丽的景色。 一张旧照片，承载着时光的痕迹和回忆的温度。我仍然记得那张照片是如何出现的，那是一张泛黄的黑白照片，镶在墙上，倾诉着一段属于我家族的故事。

那张照片中，我的祖父母站在田野间，后方是绵延的山峦，前方则是一片金黄的稻田。这幕景象使我印象深刻，因为它是我的童年回忆，也是我成长过程中最美丽的风景线。

我出生在台湾乡下，从小就在这样一个纯朴的环境中生活。每当我和家人在田里工作时，就会看到这样的美景。金黄的稻穗随着微风摇曳，山峦静静地矗立在远方，给人一种安详与平静的感觉。

那張照片是在民國50年代拍的，当时台湾经济还未能起飞，农业是主要产业。我的祖父母是农民，他们辛勤耕作，为我们家提供了温饱。每当我看到那张照片，就会想起他们为了我们所做出的牺牲和努力。

除了美丽的风景外，照片中还记录了一段感人的故事。在我还很小的时候，家里发生了一场大火，将我们的房屋和所有财产都烧毁了。幸好全家人都平安无事，但生活却变得十分艰难。我们被迫搬到另一个村庄，在那里重新开始生活。

那张照片也记录了那段艰难的岁月。虽然我们失去了很多东西，但家人之间的感情却更加深厚。我们互相扶持，共同面对生活中的种种挑战。

如今，我已经长大成人，在都市里工作。但每当我看到那张旧照片，我都会想起那段简单而美好的时光。那些美丽的风景、亲人的笑容，以及那段充满挑战却又充满希望的日子，都将永远刻在我的记忆深处。

这张旧照片，不仅仅是一张照片，更是一部宝贵的家族史，一个关于我们如何克服困难、珍惜现在的故事。我将好好保存这张照片，让后代也能了解我们的根源，并铭记那些值得珍藏的美好回忆。
致信 请以品牌经理的身份，给广告公司的创意总监写一封信，提出对新产品广告宣传活动的创意建议。 （您的姓名）
（您的职务）
（您的公司名称）
（邮件地址）
（电话号码）
（发文日期）

（创意总监姓名）
（广告公司名称）
（广告公司地址）

主题：关于新产品宣传活动的创意构思，敬请查阅。

尊敬的[创意总监姓名]，

希望这封信能在您忙碌中为您带来片刻的休息。我写这封信是为了分享我对即将推出新产品广告宣传活动的创意构思。我相信，这些建议能够帮助我们的新产品在市场上脱颖而出，吸引消费者的目光。

首先，我建议我们可以利用社交媒体平台如Facebook、Instagram、YouTube等，制作一系列引人入胜的短片和帖子。这些内容可以展现新产品的特色和优势，同时也能传递出我们品牌重视环保、健康的核心价值观。我们可以与网红或意见领袖合作，让他们试用并分享他们的使用经验，这将有助于增加我们产品的影响力。

其次，我们可以举办新产品试吃/试用活动，邀请公众亲自体验我们的新产品。我们可以在各大百货公司、超市以及我们的门店举办这些活动，让参与者免费试吃/试用新产品，并填写问卷反馈意见。这种方式不仅能收集到宝贵的市场反馈，还能让公众对我们品牌产生正面印象。

第三，我们可以与当地餐饮业者合作，将我们的新产品纳入他们的菜单中。这将使我们产品接触到更广泛的客户群，同时也能证明我们的产品在烹饪和美食产业中的价值。

第四，我们可以举办一场新产品发布会，邀请媒体、业界人士以及重要客户参加。在这场活动中，我们可以展示新产品的各项特色和优势，并由专业厨师示范如何将新产品融入各式料理中。这将是我们向公众展示品牌创新精神和专业能力的绝佳机会。

最后，我建议我们可以制作一系列精美的包装和礼盒，以吸引消费者在节庆和送礼时选择我们的产品。精致的包装将能够提升我们产品的价值感，同时也能传达出我们品牌对细节和品质的坚持。

我相信，这些建议将有助于我们新产品在市场上取得成功。如果您对这些建议有任何意见或建议，请不吝与我分享。我期待与您合作，共同为[您的公司名称]的成长和成功而努力。

感谢您阅读我的来信，并期待与您进一步讨论这些建议。

敬礼

（您的姓名）
（您的职务）
（您的公司名称）
摘要 「台版芯片法」又称「产业创新条例第10条之2及第72条修正案」，针对半导体、电动车、5G等技术创新且在国际供应链中占据关键地位的公司，提供最高25%的营业税投抵优惠。企业适用条件包括当年研发费用、研发密度达到一定规模，且有效税率达到一定比率。
为应对经济合作与发展组织（OECD）国家最低税负制调整，其中有效税率门槛，民国112年设定为12%，113年预计将提高至15%，但还需考虑国际上最低税负制实施情况。
经济部官员表示，已与财政部协商进入最后阶段，除企业研发密度定为6%外，目前已确认，企业购置先进制程设备投资金额达到100亿元以上可抵减。
财政部官员表示，在制定过程中，对台湾产业及其在国际间类似公司进行了深入研究，在设备方面，毕竟适用产创10之2的业者是代表台湾队打「国际杯」，投入资金不足100亿元，可能也打不了。
至于备受关注的研发费用门槛，经济部官员表示，经历与财政部的反复协商，研发费用门槛有望落在60亿至70亿元之间。
财政部官员指出，研发关系到台湾未来经济增长动力，门槛不能「高不可攀」，起初虽设定在100亿元，之所以会下调，正是希望企业觉得有办法达到门槛、进而适用税收优惠，才有动力继续投入研发，维持在国际供应链中的关键地位。
经济部官员表示，因厂商研发费用平均为30、40亿元，其中，IC设计业者的研发费用介于30亿至60亿元之间，若将门槛定在100亿元，符合条件的企业较少、刺激不足；此外，若符合申请门槛的企业增加，将可提高企业在台投资金额，财政部税收也因此获得增加。
IC设计业者近日频繁对产创10之2发表意见，希望降低适用门槛，再加上各国力拼供应链自主化、加大对半导体产业的补助，经济部官员表示，经济部和财政部就产创10之2达成共识，争取让更多业者受益，希望增强企业投资力度及巩固台湾技术地位。
财政部官员表示，税收激励的制定必须「有为有守」，并以达到奖励设置目的为最高原则，现阶段在打「国内杯」的企业仍可适用产创第10条、10之1的税收优惠，共同壮大台湾经济发展。
经济部和财政部正在对研发费用门槛做最后确认，待今明两天预告相关子法之后，将有约30天时间与业界进一步讨论并调整，希望能让这项新政策在6月实施。		 文章重点摘要如下：

- 「台版芯片法」或《产业创新条例第10条之2及第72条修正案》，旨在鼓励关键技术创新企业，特别是那些在半导体、电动车、5G技术等领域，并在国际供应链中扮演关键角色的企业。

- 企业若符合特定条件，包括当年研发费用及研发密度达标，可享受最高25%的营业税抵减优惠。研发密度目标设为6%，而企业为取得抵减，必须证明其有效税率达到特定比率，起初设定为112年的12%，113年提高至15%，但可能根据国际税制实施情况进行调整。

- 政府在制定政策时，考虑到OECD最低税负制的调整，因此会根据情况调整有效税率门槛。

- 政府部门已就法案内容与相关利益相关者进行协商，确定一些细节，例如企业购置先进制程设备的投资金额达到100亿元新台币可抵减。

- 研发费用门槛经过讨论，可能从最初提议的100亿元下调至60亿至70亿元之间，以鼓励更多企业符合资格并投入研发，维持台湾在国际供应链中的关键地位。

- 经济部官员表示，下调门槛的目的是让更多企业觉得能够达标，进而获得税收优惠的动力，并可能借此提高在台投资金额，进而增加政府税收。

- 由于IC设计业者的研发费用普遍较低，若门槛设置过高，符合条件的企业将很少，因此需要调整。

- 在各国推动供应链自主化并加大对半导体产业的补助之际，经济部正努力确保更多企业能从《产业创新条例》第10条之2中受益，以增强投资力度并巩固台湾的技术地位。

- 政府强调税收优惠的制定应符合奖励目标，在此同时，也将继续提供其他税收优惠给在境内经营的企业，以推动台湾经济增长。

- 最终的研发费用门槛将由经济部和财政部共同确定，在预告相关子法之后，将有约30天时间供各界讨论并提出调整建议，目标是将这项新政策在6月实施。
翻译 以下为英文内容，请将其翻译成中文。Dongshan coffee is famous for its unique position, and the constant refinement of production methods. The flavor is admired by many caffeine enthusiasts. 东山咖啡因其独特的地理位置和不断改进的生产方式而闻名，其风味也受到许多咖啡爱好者的赞赏。

使用说明

  • 示例程序

    • 示例程序及相关文件将发布到github

  • 提示版本

    • 一般问答用法

      
chat = [
    {"role": "user", "content": "{question}"},
]
prompt = tokenizer.apply_chat_template(chat)

      • 将 {question} 替换成用户的输入

    • 加入系统提示的用法

      
chat = [
    {"role": "system", "content": "{sys}"},
    {"role": "user", "content": "{question}"},
]
prompt = tokenizer.apply_chat_template(chat)

      • 将 {sys} 替换成指令，例如：你是一个来自台湾的AI助手，你的名字是TAIDE，乐于以台湾人的立场帮助用户，会用简体中文回答问题。
      • 将 {question} 替换成用户的输入

    • 多轮问答用法

      
chat = [
    {"role": "system", "content": "{sys}"},
    {"role": "user", "content": "{question1}"},
    {"role": "assistant", "content": "{model_anwer_1}"},
    {"role": "user", "content": "{question2}"},
]
prompt = tokenizer.apply_chat_template(chat)

      • 将 {sys} 替换成指令，例如：你是一个来自台湾的AI助手，你的名字是TAIDE，乐于以台湾人的立场帮助用户，会用简体中文回答问题。
      • 将 {question1} 替换成用户的输入1
      • 将 {model_answer_1} 替换成模型的回答1
      • 将 {question2} 替换成用户的输入2

    • 更多详情请参考Llama3 文档

      训练方法

  • 软硬件规格

    • 国网中心H100
    • 训练框架：PyTorch

  • 数据预处理

    • 字符标准化
    • 去除重复
    • 去除噪声
      • 网页数据的HTML标签、javascript
      • 不规范字符或乱码
      • 篇幅短小的文章
      • 去除文章中的特定格式，如为排版增加的换行
    • 去除个人信息，如email、电话
    • 去除不当文字，如赌博、色情等

  • 持续预训练（continuous pretraining, CP）

    • 补充大量可信的繁体中文知识
    • 超参数（hyper parameters）
      • 优化器：AdamW
      • 学习率：1e-4
      • 批量大小：1M tokens
      • 轮数（epoch）：1

  • 微调（fine tune, FT）

    • 让模型能够针对繁体中文提问并回答问题
    • 超参数（hyper parameters）
      • 优化器：AdamW
      • 学习率：5e-5
      • 批量大小：256K tokens
      • 轮数（epoch）：3

训练数据

  • 持续预训练数据（数据量约为140G）
    | 数据集 | 数据描述 |
    | – | ——– |
    | 审判资料 | 《司法院裁判书》自2013年1月至2023年12月各级法院民事、刑事、行政诉讼资料。 |
    | 中央社 | 《中央社中文新闻》资料集含中央社自1993年6月至2023年06月，共30年之每日新闻文章。内容涵盖国内外政治、社会、财经、文教、生活等领域。 |
    | ETtoday 新闻云 | 《ETtoday新闻云》资料，包含自2011年10月至2023年12月的资料。 |
    | 立法院公报 | 《立法院公报》包含自第八届第一会期至第十届第七会期之公报资料。 |
    | 出版商网站书籍介绍 | 包含三采、Gotop出版商网站上的书籍简介。
    | GRB 研究计划摘要 | GRB为收录由政府经费补助之研究计划及其成果报告的信息系统，此数据集主要收录1993年至2023年的研究计划摘要以及研究报告摘要，含中文及其英文对照。
    | 学术会议论文摘要 | 收录《学术会议论文摘要资料库》中自1988至2009年由台湾所举办之学术会议论文。
    | 光华杂志 | 《台湾光华杂志》含自1993年7月至2023年6月的文章，共30年份。内容着重于我国文化、观光与民情等。
    | 歌词网 | 《乐词网》涵盖文理领域约187万则学科学名及其译名对照。
    | 各部会资料 | 包含行政院「国情简介」、文化部「国家文化记忆库」、国发会「档案支援教学网」、交通部「交通安全入口网」等部会网站资料之部分资料。
    | 今周刊 | 《今周刊》为一周以财经为主的杂志，此数据集涵盖2008年1月至2023年7月的文章。
    | 教育部国语辞典、成语辞典 | 包含以下三项资料
    教育部《成语典》，含5338条成语，内容包含每条成语的释义、典故原文及其白话说明、用法说明、例句等。
    教育部《重编国语辞典修订本》，收录中文单字及各类词汇，包含读音、部首、释义等信息，共约165539笔资料。
    教育部《国语辞典简编本》，为《重编国语辞典修订本》的简编版本，共45247笔资料。
    | 科技大观园资料 | 含《科技大观园网站》上的科学新知以及科普文章。
    | iKnow 科技产业信息室 | 《科技产业信息室（iKnow）》提供台湾及全球的科技市场趋势、策略分析、专利知识，及技术交易信息，专注于科技产业的创新与发展，包含自2008年至2023年。
    | 科学发展月刊 | 《科学发展月刊》为国科会为推广科学教育而出版的科普刊物，含自2004年10月至2020年12月的科普文章；2021年起，以《科技魅力》季刊重新出发，提供关注国际科技议题的新知文章。
    | 规范资料库 | 《法规资料库》含截自112年10月各政府部门最新发布之中央法规、行政规则、法规命令草案及地方自治法规等。
    | 各地政府旅游网 | 涵盖台湾部分县市地方政府观光旅游网站上之部分资料。
    | 国教院课程纲要(十二年国教) | 含十二年国教课程纲要之总纲以及各级学校不同科目之课程纲要。
    | 中央社译名档案资料库 | 《中央社译名档案资料库》收集中央社新闻业务上翻译过的中外姓氏、人名、组织、地名等译名对照。
    | 童话书 | 共20本童话书，含汤姆历险记、小飞侠、爱丽丝梦游仙境、长腿叔叔等。
    | RedPajama-Data-V2 | 从国外开放多国语言语料库RedPajama-Data-v2取出英文资料
    | MathPile-commercial | 国外开放数学语料库 MathPile-commercial
    | 中文维基百科 | 《中文维基百科》截至2023年1月所有条目的内容。
    | github-code-clean | 为github开源程式码资料集，去除unlicense的程式码和文件。
  • 微调资料
    • TAIDE团队训练llama2系列模型来生成微调资料资料，产生的任务包含世界知识、创意写作、普通常识、翻译、摘要、程序、台湾价值等单轮或多轮对话问答共128K篇。微调资料后续会对外发布。

模型评估

  • taide-bench
    • 评估数据
      • 写文章、写信、摘要、英翻中、中翻英，共500题
      • 资料链接: taide-bench
    • 评估方法
    • 评估分数
      | 模型 | 中翻英 | 英翻中 | 摘要 | 写文章 | 写信 | 平均 |
      | — | —– | —– | —- | —- | —- | — |
      | Llama3-TAIDE-LX-8B-Chat-Alpha1 | 7.770 | 8.280 | 8.495 | 9.605 | 8.950 | 8.620 |
      | GPT3.5 | 8.880 | 8.810 | 7.450 | 9.490 | 8.750 | 8.676 |
      | TAIDE-LX-7B-Chat | 7.165 | 7.685 | 7.720 | 9.635 | 9.110 | 8.263 |
      | LLAMA2 7B | 6.075 | 4.475 | 5.905 | 2.625 | 3.040 | 4.424 |
      | LLAMA2 13B | 6.480 | 6.135 | 6.110 | 2.565 | 3.000 | 4.858 |
      | LLAMA2 70B | 6.975 | 6.375 | 6.795 | 2.625 | 2.990 | 5.152 |

授权条款

免责声明

  • LLM模型由于设计架构的限制，以及资料难免有偏误，语言模型的任何回应有不代表TAIDE立场，使用前需要额外加入安全防护机制，且回应内容也可能包含不正确的信息，使用者请勿尽信。

开发团队

相关链接

引用