taozhiyuai / openbiollm-llama-3

在医疗领域推进开源大型语言模型

8B 70B

853 提交 更新于 2 个月前

3 个月前

0a8b443b9c07 · 26GB

模型
llama
·
70.6B
·
Q2_K
模板
{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>
参数
{"num_keep":24,"stop":["<|start_header_id|>","<|end_header_id|>","<|eot_id|>"]}

说明文件

从 https://hf-mirror.com/aaditya/Llama3-OpenBioLLM-70B 导入

fJIOPJnY6Ff6fUiSIuMEt.png

在医疗领域推进开源大型语言模型

支持多语言，请访问 https://ollama.ac.cn/taozhiyuai/openbiollm-llama-3-chinese

KGmRE5w2sepNtwsEu8t7K.jpeg

介绍

生物医学领域的佼佼者，基于LLAMA3打造.

推出OpenBioLLM-70B：一款先进的开源生物医学大语言模型

OpenBioLLM-70B是一款针对生物医学领域的先进开源语言模型。由Saama AI实验室开发，该模型利用前沿技术，在广泛的生物医学任务上实现了业界顶尖的性能。

🏥 生物医学专业化：OpenBioLLM-70B专为医疗和生命科学领域的特定语言和知识需求量身定制。它在一个庞大的高质量生物医学数据集上进行微调，使其能够以专业准确性和流畅性理解和生成文本。

🎓 优异的性能：具有700亿参数的OpenBioLLM-70B在与其他类似规模的开放式生物医学语言模型中表现出色。它在生物医学基准上也展现出比GPT-4、Gemini、Meditron-70B、Med-PaLM-1和Med-PaLM-2更大的改进效果，这些模型规模更大，为私有和开源模型。

🧠 先进训练技术：OpenBioLLM-70B建立在强大的Meta-Llama-3-70B-Instruct和Meta-Llama-3-70B-Instruct模型基础之上。它结合了DPO数据集和微调配方以及定制多样化的医学指令数据集。训练流程的关键组件包括

屏幕截图示例

70B的输出内容质量高；

70B生成更多和高质量的文本；

截屏2024-05-08 22.07.00.png

8B的输出内容较少，并且输出的中文质量不稳定，过度量化导致损失率高。建议使用70B；

8B生成的文本更少，更多的量化导致困惑度更高。因此建议使用70B；

| Model                        | Quants | Size  | Bit | Perplexity       |
|------------------------------|--------|-------|----|-------------------|
| llama3-openbiollm-8b:Q4_0   | Q4_0   | 4.7GB | 4  | +0.2166 ppl       |
| llama3-openbiollm-8b:Q4_K_M  | Q4_K_M | 4.9GB | 4  | +0.0532 ppl       |
| llama3-openbiollm-8b:Q5_K_M  | Q5_K_M | 5.7GB | 5  | +0.0122 ppl       |
| llama3-openbiollm-8b:Q6_K    | Q6_K   | 6.6GB | 6  | +0.0008 ppl       |

截屏2024-05-09 15.21.49.png

基准医疗模型测评

oPchsJsEpQoGcGXVbh7YS.png
UXF-V0col0Z0sS6BGPBkE.png
截屏2024-05-09 14.25.03.png

微信ID：TAOZHIYUAI