Nemotron3Embed 系列：开源嵌入模型新标杆

NVIDIA 最近发布了 Nemotron3Embed 系列模型。该系列专为生产级 RAG、智能体检索、代码检索、智能体记忆等场景打造。

其中，8B 版本在检索嵌入基准测试 RTEB 上拿下第一，是目前开源领域性能最强的选手。

三个开放检查点

该系列包含三个开放检查点，各有侧重：

• Nemotron3Embed8BBF16：精度优先
• Nemotron3Embed1BBF16：轻量化版本
• Nemotron3Embed1BNVFP4：针对 Blackwell 架构优化的 4 比特版本

三个模型均采用双向注意力掩码训练的 Transformer 编码器，最大序列长度达 32,768 个 token，支持 34 种语言，并以 OpenMDW1.1 许可协议开源。

基础架构与定制化改造

8B 版源自 Mistral 家族的 Ministral38BInstruct2512，两个 1B 变体则基于 Ministral33BInstruct2512。从数据来看，这是对 Mistral 架构的一次高度定制化改造。

部署与性能

部署层面，三个版本各有玩法：

• 8B 和 1B 的 BF16 版本：支持 Transformers 和 Sentence Transformers 框架，即拿即用
• 1BNVFP4 版本：仅支持 vLLM 0.25.0 的 /v2/embed 接口

微架构覆盖范围不同：NVFP4 版本兼容 Ampere、Hopper、Lovelace 和 Blackwell，BF16 版本主要面向 Ampere、Hopper 和 Blackwell。

NVIDIA 还发布了针对 1B 模型的优化版 NIM 微服务，基于 Rust 构建。在 GB200 和 RTX PRO 6000 上，该服务性能已达到甚至超越 vLLM 检查点。

应用场景与策略

三个模型各有绝活：

• 多语言企业搜索：跨语言检索不在话下
• 代码检索：训练数据包含 SWEbench 等代码数据集
• 智能体记忆：32K token 长上下文能处理较长对话摘要的嵌入

对于成本敏感场景，可采用分层策略：用 1BNVFP4 处理高容量召回，把 8B 留给难啃的查询，兼顾效率与精度。

代码示例

NVIDIA 还提供了完整代码示例，覆盖基于 Sentence Transformers 的本地推理和基于 vLLM 的服务端部署。查询和文档分别通过 query: 和 passage: 前缀区分，嵌入向量经 L2 归一化后，点积等于余弦相似度。这才叫 think。

《夸克》非常好用的免费AI浏览器

下载APP查看