英伟达开源发布 Nemotron 3.5 Lightning

8月12日，据英伟达最新发布消息，NVIDIA正式开源全新模型Nemotron 3.5 Lightning。

该模型专为AI智能体的执行层打造，适用于长时间、高频率任务场景。其目标是在显著降低推理成本与延迟的同时，保障响应效率与稳定性。

模型架构与性能特点

该模型采用300亿参数的混合专家（MoE）架构，但单次实际激活参数量仅30亿。

通过动态专家路由机制，模型在每次前向推理时只调用部分子网络。在保留大模型能力的同时，尽量降低计算负担。

与此同时，模型还整合了推测解码、权重量化等优化方案，并围绕OpenClaw、Hermes Agent等主流智能体框架进行了定向训练。

按照现有披露信息，在保证较高准确率的情况下，其推理吞吐量可达到同级别模型的4倍。

配套工具与部署支持

与此同时，NVIDIA还开源了NeMo Switchyard库。

该库可依据任务类型、任务复杂度以及硬件资源情况，自动完成调度与分发，匹配更合适的模型，以提升规划类任务和执行类任务之间的解耦效率与协同能力。

• 支持全面本地化部署
• 可兼容DGX Spark、Jetson系列边缘设备、GeForce RTX 5090等消费级GPU
• 可无缝接入Ollama、llama.cpp等主流推理生态工具链

开源获取方式

目前，模型权重、训练数据集及完整训练配置均已依据OpenMDW-1.1开源协议公开。

开发者可通过Hugging Face、ModelScope等平台直接下载使用。

《夸克》非常好用的免费AI浏览器

下载APP查看