1.1M 1个月前

LFM2 是一系列专为端侧部署设计的混合模型。LFM2-24B-A2B 是该系列中最大的模型,将架构扩展至 240 亿参数,同时保持了高效的推理性能。

工具 24b
ollama run lfm2

应用

Claude Code
Claude 代码 ollama launch claude --model lfm2
Codex
Codex ollama launch codex --model lfm2
OpenCode
OpenCode ollama launch opencode --model lfm2
OpenClaw
OpenClaw ollama launch openclaw --model lfm2

自述文件

image.png

LFM2 是一系列专为端侧部署设计的混合模型。LFM2-24B-A2B 是该系列中最大的模型,将架构扩展至 240 亿参数,同时保持了高效的推理性能。

  • 业界领先的效率: 一种 24B MoE 模型,每个 token 仅有 2B 活动参数,可在 32 GB 内存中运行,适用于消费者笔记本电脑和台式机的部署。
  • 快速边缘推理: 在 AMD CPU 上解码速率为 112 token/秒,在 H100 上为 293 token/秒。可在 32 GB 内存中运行。
  • 可预期的可扩展性: 质量从 350M 到 24B 总参数呈对数线性提升,验证了 LFM2 混合架构在接近两个数量级的范围内可靠可扩展。

image.png