taozhiyuai / openbiollm-llama-3

推动医疗领域开源大型语言模型的发展

8B 70B

853 Pulls 更新于2个月前

3个月前

c2884312fcda · 43GB

模型
llama
·
70.6B
·
Q4_K_M
模板
{{ if .System }}<|start_header_id|>系统<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>用户<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>助手<|end_header_id|> {{ .Response }}<|eot_id|>
参数
{"num_keep":24,"stop":["<|start_header_id|>","<|end_header_id|>","<|eot_id|>"]}
系统
格式化为Markdown格式。

README

从 https://hf-mirror.com/aaditya/Llama3-OpenBioLLM-70B 导入

fJIOPJnY6Ff6fUiSIuMEt.png

推动医疗领域开源大型语言模型的发展

对于多语言支持，请访问 https://ollama.ac.cn/taozhiyuai/openbiollm-llama-3-chinese

KGmRE5w2sepNtwsEu8t7K.jpeg

介绍 介绍

生物医学领域优等生，基于LLAMA3打造。

Introducing OpenBioLLM-70B: A State-of-the-Art Open Source Biomedical Large Language Model

OpenBioLLM-70B是一种为生物医学领域专门设计的先进开源语言模型。由Saama AI Labs开发，该模型利用最前沿的技术在广泛的生物医学任务上取得了业界领先的性能。

🏥 生物医学专业化：OpenBioLLM-70B针对医疗和生命科学领域的独特语言和知识需求进行了定制。它在大量高质量的生物医学数据集上进行微调，使它能够以特定领域的准确性和流畅性理解和生成文本。

🎓 优越性能：具有70亿参数，OpenBioLLM-70B比其他类似规模的开放源生物医学语言模型表现更出色。它还在生物医学基准测试中与更大的专有和开源模型如GPT-4，Gemini，Meditron-70B，Med-PaLM-1和Med-PaLM-2相比，表现出了更好的结果。

🧠 先进训练技巧：OpenBioLLM-70B建立在强大的Meta-Llama-3-70B-Instruct和Meta-Llama-3-70B-Instruct模型基础上。它采用了DPO数据集和微调秘方，以及一个定制的多样化医疗指令数据集。训练管道的关键组件包括

屏幕样本 示例

70B的输出内容多质量高；

70B生成更多高质量的文本。

截屏2024-05-08 22.07.00.png

8B 输出内容较少，且输出中文质量不稳定，过度量化导致损失率高。建议使用70B。

8B 生成内容较少，量化程度越高，困惑度越高。因此，推荐使用 70B。

| Model                        | Quants | Size  | Bit | Perplexity       |
|------------------------------|--------|-------|----|-------------------|
| llama3-openbiollm-8b:Q4_0   | Q4_0   | 4.7GB | 4  | +0.2166 ppl       |
| llama3-openbiollm-8b:Q4_K_M  | Q4_K_M | 4.9GB | 4  | +0.0532 ppl       |
| llama3-openbiollm-8b:Q5_K_M  | Q5_K_M | 5.7GB | 5  | +0.0122 ppl       |
| llama3-openbiollm-8b:Q6_K    | Q6_K   | 6.6GB | 6  | +0.0008 ppl       |

截屏2024-05-09 15.21.49.png

医疗模型基准测试

oPchsJsEpQoGcGXVbh7YS.png
UXF-V0col0Z0sS6BGPBkE.png
截屏2024-05-09 14.25.03.png

微信ID：TAOZHIYUAI