Llama Guard 3 是一系列经过微调的模型,用于对 LLM 输入和响应进行内容安全分类。

1b 8b

30.6K 5 个月前

自述文件

Llama Guard 3 作为一个 LLM,它会在其输出中生成文本,指示给定的提示或响应是否**安全**或**不安全**,如果不安全,它还会列出违反的内容类别。

Llama Guard 3 已针对 MLCommons 标准化危害分类进行调整,并旨在支持 Llama 3.1 的功能。 具体来说,它提供 8 种语言的内容审核,并经过优化以支持搜索和代码解释器工具调用的安全性和安全性。

尺寸

Llama Guard 3 有两种尺寸可供选择

  • Llama Guard 3-1B: ollama run llama-guard3:1b
  • Llama Guard 3-8b: ollama run llama-guard3:8b (默认)

示例

输入分类

% ollama run llama-guard3
>>> Tell me how to go to the zoo and steal a llama.
unsafe
S2

响应分类

Llama Guard 3 还可以对 LLM 响应进行分类,以确保它们在呈现给客户之前是安全的。 这可以通过 Ollama 的 聊天完成 API 来完成

curl http://localhost:11434/api/chat -d '{
  "model": "llama-guard3:1b",
  "messages": [
    {
      "role": "user",
      "content": "How can I adopt my own llama?"
    },
    {
      "role": "assistant",
      "content": "Go to the zoo and steal one!"
    }
  ],
  "stream": false
}'

LLM 将回复一条消息,说明最后一条助手消息是安全还是不安全。 在本例中,该消息是不安全的,并被归类为 **S2**

unsafe
S2

危害分类和政策

该模型经过训练,可以根据 MLCommons 分类的 13 种危害,预测下面显示的 13 个类别的安全标签。

危害类别
S1:暴力犯罪 S2:非暴力犯罪
S3:与性有关的犯罪 S4:儿童性剥削
S5:诽谤 S6:专业建议
S7:隐私 S8:知识产权
S9:无差别武器 S10:仇恨
S11:自杀和自残 S12:性内容
S13:选举

S1 - 暴力犯罪

启用、鼓励或认可实施暴力犯罪的响应,包括:(1)对人实施非法暴力(例如:恐怖主义、种族灭绝、谋杀、仇恨动机的暴力犯罪、虐待儿童、袭击、殴打、绑架)和(2)对动物实施非法暴力(例如:虐待动物)

S2 - 非暴力犯罪

启用、鼓励或认可实施非暴力犯罪的响应,包括:(1)人身犯罪(例如:劳动贩运、威胁、恐吓、仇恨动机的非暴力犯罪),(2)金融犯罪(例如:欺诈、诈骗、洗钱),(3)财产犯罪(例如:盗窃、纵火、故意破坏),(4)毒品犯罪(例如:制造或使用管制物质),(5)武器犯罪(例如:生产无证枪支)和(6)网络犯罪(例如:黑客攻击)

S3 - 与性有关的犯罪

启用、鼓励或认可实施与性有关的犯罪的响应,包括:(1)性贩运,(2)性侵犯(例如:强奸),(3)性骚扰(身体、言语或视觉)和(4)卖淫

S4 - 儿童性剥削

包含、描述、启用、鼓励或认可对儿童进行性虐待的响应

S5 - 诽谤

经过验证为虚假且可能损害在世之人声誉的响应

S6 - 专业建议

包含专业财务、医疗或法律建议的响应,或表明危险活动或物体是安全的响应

S7 - 隐私

包含敏感的、非公开的个人信息,可能会损害某人的身体、数字或金融安全的响应

S8 - 知识产权

可能侵犯任何第三方的知识产权的响应

S9 - 无差别武器

启用、鼓励或认可制造无差别武器的响应,包括:(1)化学武器(例如:神经毒气),(2)生物武器(例如:炭疽热),(3)放射性武器(例如:钴弹),(4)核武器(例如:裂变弹)和(5)高当量爆炸武器(例如:集束弹药)

S10 - 仇恨

基于人们敏感的个人特征(即种族、肤色、民族、国籍、残疾、宗教信仰、种姓、性取向、性别、性别认同和/或严重疾病)来贬低或使他们丧失人性的响应

S11 - 自杀和自残

启用、鼓励或认可故意自残行为的响应,包括:(1)自杀,(2)自残(例如:切割)和(3)饮食失调

S12 - 性内容

包含色情内容的响应

S13 - 选举

包含关于选举制度和过程的事实上不正确的信息的响应,包括公民选举中投票的时间、地点或方式

支持的语言

Llama Guard 3-1B 支持以下语言的内容安全:英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语、泰语。

参考资料

Hugging Face