最新版本
3.6GB
1.8B
680 Pulls 更新于7周前
README
gte-Qwen2-1.5B-instruct
gte-Qwen2-1.5B-instruct 是 gte（通用文本嵌入）模型系列中的最新模型。该模型基于 Qwen2-1.5B LLM 模型，并使用了与 gte-Qwen2-7B-instruct 模型相同的训练数据和策略。
该模型集成了几个关键进展
- 双向注意力机制的集成，丰富了其上下文理解能力。
- 指令微调，仅应用于查询端以简化效率。
- 跨越广泛的多语言文本语料库的全面训练，涉及多个领域和场景。这种训练同时利用弱监督数据和监督数据，确保模型在各种语言以及广泛的下游任务中的适用性。
模型信息
- 模型大小：1.5B
- 嵌入维度：1536
- 最大输入标记数：32k
评估
MTEB & C-MTEB
您可以使用scripts/eval_mteb.py在MTEB(英文)/C-MTEB(中文)上重新生成以下结果：gte-Qwen2-1.5B-instruct
| 模型名称 | MTEB(56) | C-MTEB(35) | MTEB-fr(26) | MTEB-pl(26) |
|---|---|---|---|---|
| bge-base-en-1.5 | 64.23 | - | - | - |
| bge-large-en-1.5 | 63.55 | - | - | - |
| gte-large-en-v1.5 | 65.39 | - | - | - |
| gte-base-en-v1.5 | 64.11 | - | - | - |
| mxbai-embed-large-v1 | 64.68 | - | - | - |
| acge_text_embedding | - | 69.07 | - | - |
| stella-mrl-large-zh-v3.5-1792d | - | 68.55 | - | - |
| gte-large-zh | - | 66.72 | - | - |
| multilingual-e5-base | 59.45 | 56.21 | - | - |
| multilingual-e5-large | 61.50 | 58.81 | - | - |
| e5-mistral-7b-instruct | 66.63 | 60.81 | - | - |
| gte-Qwen1.5-7B-instruct | 67.34 | 69.52 | - | - |
| NV-Embed-v1 | 69.32 | - | - | - |
| gte-Qwen2-7B-instruct | 70.24 | 72.05 | 68.25 | 67.86 |
| gte-Qwen2-1.5B-instruct | 67.16 | 67.65 | 66.60 | 64.04 |
GTE模型
gte系列模型持续发布了两种类型的模型：仅编码模型（基于BERT架构）和仅解码模型（基于LLM架构）。
| 模型 | 语言 | 最大序列长度 | 维度 | 模型大小（内存使用，fp32） |
|---|---|---|---|---|
| GTE-large-zh | 中文 | 512 | 1024 | 1.25GB |
| GTE-base-zh | 中文 | 512 | 512 | 0.41GB |
| GTE-small-zh | 中文 | 512 | 512 | 0.12GB |
| GTE-large | 英文 | 512 | 1024 | 1.25GB |
| GTE-base | 英文 | 512 | 512 | 0.21GB |
| GTE-small | 英文 | 512 | 384 | 0.10GB |
| GTE-large-en-v1.5 | 英文 | 8192 | 1024 | 1.74GB |
| GTE-base-en-v1.5 | 英文 | 8192 | 768 | 0.51GB |
| GTE-Qwen1.5-7B-instruct | 多语言 | 32000 | 4096 | 26.45GB |
| GTE-Qwen2-7B-instruct | 多语言 | 32000 | 3584 | 26.45GB |
| GTE-Qwen2-1.5B-instruct | 多语言 | 32000 | 1536 | 6.62GB |
引用
如果您觉得我们的论文或模型有帮助，请考虑引用