一个轻量级的AI模型,拥有38亿个参数,其性能超越了类似大小甚至更大的模型。

3.8b

250K 6 个月前

自述文件

Phi-3.5-mini是一个轻量级的,最先进的开放模型,构建于Phi-3所使用的数据集之上 - 合成数据和经过过滤的公开可用网站,重点是高质量、推理密集的数据。

该模型属于Phi-3模型系列,支持128K token上下文长度。该模型经过了严格的增强过程,结合了监督微调、近端策略优化和直接偏好优化,以确保精确的指令遵循和强大的安全措施。

长上下文

Phi-3.5-mini支持128K上下文长度,因此该模型能够处理多个长上下文任务,包括长文档/会议摘要、长文档问答、长文档信息检索。

参考

Hugging Face