2005 年那会儿，AI 这词儿在学界可不太受待见。说出来都怕被人瞧不起。研究员们为了不招白眼，得把自己的研究包装成听起来更“客观”的“机器学习”。

2008 年，刚毕业的 Bryan Catanzaro 带着一篇用 GPU 跑深度学习的论文，兴致勃勃地跑去参加学术顶会 ICML。结果台下的学者们一脸冷漠地质问他：“我们这儿只讨论高深的数学，你拿个打游戏的显卡来干什么？”

那阵子，可以说是属于“智能”的寒冷纪元。极少有人相信，那些发热笨重的显卡能和人类大脑扯上什么关系。

从百度到英伟达：一个“异类”的破冰之旅

为了寻找同类，Bryan 在 2014 年选择离职，加入了百度在硅谷刚成立的 AI 实验室。在那里，他遇到了吴恩达，以及当时还在搞生物信息研究、后来创立了 Anthropic 的年轻小伙 Dario Amodei。

这段经历中最让他震撼的，是身边那些极其聪明又拼命的中国同事。他们不仅用极其开放的心态，把写出的技术毫无保留地开源，更用近乎本能的直觉推动着算法落地。

这段在百度工作两年半的经历，彻底塑造了 Bryan 对底层技术和开源协作的敬畏。以至于多年后的今天，当他听到西方主流舆论嘲笑中国 AI 只会“套壳、靠蒸馏闭源模型抄袭”时，他直接反驳：“这完全是偏见，中国在开源协作的开放性上，早就是全球的领跑者。”

如今的 Bryan 已经重回英伟达，担任应用深度学习研究副总裁。在这场与 Matt Turck 录制的最新播客中，这位从荒芜时代走来的芯片老兵，聊了聊大模型的硬核算力账单、摩尔定律死透后的技术求生，以及为什么他坚信“没有轮子的引擎，哪也去不了”。

核心观点速览

• 天天嘲笑中国 AI 只会“套壳抄袭”，完全是一种傲慢的偏见。在理解和实践“开源协作”这个维度上，中国实际上已经走在世界的最前面。
• 别再指望显卡能轻易降价了，摩尔定律从经济学角度看已经死透了。现在晶体管越做越小，造价却呈指数级暴涨。只靠缩小芯片设计来躺赚红利的时代已经过去，现在的加速必须靠算法、软件到芯片制造的“极端共同设计”来硬挤出来。
• 天天炒作“技术奇点”是一个错误且片面的观点。智能是高度多维且依赖上下文的，一个顶级的企业 CEO 和一个奥数冠军所需要的智力维度完全不同。
• 用 4-bit 格式进行模型预训练，极易面临模型跑飞（Diverge）的深渊。在实际训练中，稍有不慎，整个模型就会数值不收敛而彻底跑飞，导致数百万美元的算力账单直接泡汤。
• 开源比闭源更安全，阳光和多样性才是最好的消毒剂。在安全问题上，试图由少数几家巨头垄断、在顶层强行筑起一堵围墙来定义“哪些思想安全、哪些不安全”，本身就是极其危险的做法。

关于开源与闭源：竞争是表象，社区是本质

主持人：Brian，很期待这次对话。今年似乎是开源大放异彩的一年。你们 NVIDIA 刚刚发布了 Nemotron 3 Ultra，这也是一个重要时刻。看起来开源人工智能领域的节奏正在加快。你如何评估我们现在所处的阶段，以及闭源和开源之间目前的差距有多大？

Brian Catanzaro：看到这么多精力投入到开放的人工智能技术中，真的令人振奋。因为我们知道开放技术能让人们真正实现创新。互联网就是一个绝佳的例子。其实我们也曾经历过封闭的互联网。不知道你还记不记得 America Online 和 Prodigy 这类当年的服务。它们都很棒。

而开放的互联网同样精彩，因为有那么多不同的公司都能借助这项开放技术，找到彻底改变自身业务的方法。互联网在零售业的应用方式，和它在医疗健康或制造业中的应用方式截然不同。但所有这些行业都因互联网而被彻底改变。

我相信人工智能同样是一项变革性的技术，而且这项技术也需要以极为多样的方式加以应用。正因如此，我认为开放的人工智能技术是根本性的。看到来自世界各地不同机构对开放人工智能技术持续的投入和发展，真的令人振奋。我希望这一趋势能延续下去。

主持人：那你觉得开源目前落后闭源多少？这是过去几年的一个大趋势——差距在不断缩小。是不是开源已经快追上了，还是说闭源模型不断在拉高标杆？

Brian Catanzaro：这个问题可能有点“诱人”，把它设定成一场竞赛会很有意思，但我其实认为，整个人工智能社区都在飞速前进。如果你去看人工智能的进展——无论是闭源还是开源——就单看过去三个月，进步都令人惊叹。所以如果你身处一个发展如此迅猛的领域，我认为这比任何特定模型之间存在的差距都更重要，因为最重要的问题是：人工智能作为一个领域正在如何演进？

主持人：你觉得推动开源人工智能持续进步的动力是什么？是社区？是像 NVIDIA 这样的大公司在背后支持？还是与中国的全球竞争？

Brian Catanzaro：我认为有很多因素在推动开放的人工智能技术向前发展。其一是需求本身。有大量机构希望定制人工智能，希望将其深度整合进自己的工作流程，而这种整合方式确实需要开放的人工智能技术。所以需求肯定是存在的。

我也认为，这本身就是发展技术的最佳方式。几十年来我们一直看到，在开放环境中开发的技术会发展得更快，因为我们可以彼此学习。在这样一个时代——人工智能的发展和落地，是我们这一代人一生中所见过最激动人心的科技事件——计算机科学家还能有什么更值得投入的事情，除了让人工智能变得更强大？

如果携手合作作为一个社区来实现这一点是最佳方式，那么这本身也会推动整个社区走向开放式的技术开发。

关于“蒸馏”争议：创新不会因垄断而止步

主持人：我想问一个可能略带批判性的问题：至少有一部分社区在质疑，开源生态系统之所以能不断进步，部分原因是能够对闭源模型进行蒸馏。而如今，Anthropic 和 Fable Five 这些机构开始不鼓励蒸馏行为，你觉得开源人工智能的进步是否有可能因此放缓？

Brian Catanzaro：在我看来，毫无疑问，当整个科技社区决定在这个时代最具变革性的技术上投入巨资时，进步一定会突飞猛进。而且，这项技术也绝不会被少数人所掌控，因为这个行业根本不是这样运作的。我们做出最出色的工作，取得最大的影响力，往往是在我们能够各自独立思考、各自以自己的方式加以应用的时候。

所以我很喜欢 Anthropic 或其他机构提供的闭源 API。我认为它们非常出色，我也对这些实验室所做的工作深感钦佩。但它们并不是世界上仅有的实验室。世界各地还有许多实验室，也有很多人拥有出色的想法。并不是说只有少数几个实验室垄断了所有好的创意，事实并非如此。

人类从来不是这样运作的。这个星球上有大量聪明的人。而且，社区当然也深切关心这项技术，毕竟它显然具有如此深远的变革性，自然会有很多人希望参与其中。所以我认为，随着时间推移，我们会看到以社区为导向的人工智能开发和部署方式将持续壮大，因为这确实是人类作为一个物种一直以来构建事物的历史方式。

中国同行在开源合作上，一直走在前面

主持人：你觉得这个道理在全球范围内也同样成立吗？尤其是在中国这个问题上，很多人有这样一种看法：中国模型的很多进步是直接受到闭源模型启发，甚至是通过对其进行蒸馏而获得的。这究竟只是媒体为了博眼球而制造的话题，还是说，作为一位顶尖的人工智能研究者，你对来自中国的原创想法也同样印象深刻？

Brian Catanzaro：也许有点不同寻常的是，我确实曾在一家中国公司工作过大约两年半的时间。我在百度工作过，当时在硅谷人工智能实验室，和吴恩达以及 Dario Amodei 一起共事。我们都曾为一家中国公司效力，也亲眼见证了百度其他团队的同事有多聪明、多勤奋、多有创造力、多善于创新，这段经历一直留在我心里。

我认为，说其他国家取得的成就都只是“照搬抄袭”，这种说法完全是错误的。那我们大家是否会相互学习？当然，我们当然会互相学习。但我想说的是，中国人工智能社区一直以来对自己所构建的成果保持开放态度，这对全世界来说其实是一件非常好的事情。

我认为，这让大量公司得以打造出一些若没有这个社区就根本无法完成的东西，我也认为这在整个人工智能生态系统中推动了技术进步。所以我非常感激这些年来我们中国同行所做出的贡献。

我也想借此机会，鼓励中国以外的其他人工智能实验室也发扬这种开放精神。我当初对 OpenAI 发布 GPT-OSS 模型感到非常兴奋，当然还有谷歌在 Gemma 上做的出色工作，看到这些真的令人振奋。而我们在 NVIDIA 这边也在推进 Nemotron。所以我认为，世界其他地方是有机会追上中国的，前提是我们能理解携手作为一个社区共同构建人工智能技术所带来的好处——坦白说，在这方面中国一直走在前面。

关于 Nemotron 与 NVIDIA 的“使命驱动”

主持人：那么如今，客户使用开源模型的理由是什么？你们的根本优势又体现在哪里？

Brian Catanzaro：每家公司都建立在某种“秘密”之上。这个秘密不仅涉及知识产权，也涉及公司的整个平台——也就是它如何与问题和客户打交道，如何思考客户所需要的解决方案。人工智能极度依赖数据。输入的数据越有价值，最终的解决方案也就越有价值。

如今每家公司在思考如何部署人工智能时，都必须思考这对公司核心机密意味着什么。在很多情况下，出于商业机密、商业模式，甚至是法律法规的要求，有些数据必须依法极其谨慎地处理。这种情况下，能够自己想清楚并亲自实现，会比交给别人处理要好得多。

而开放人工智能技术真正了不起的地方，就在于它允许这种定制化。各家公司可以自己想清楚，可以打造真正对自己有意义的东西。随着人工智能改变整个经济体系中人们工作和生活的方式，这种定制化的需求同样十分强烈。这正在极大地刺激对开放人工智能技术的需求。

主持人：好的。在深入探讨 Nemotron 之前，我想先聊几分钟你的经历、你的背景。你是如何走到今天这一步的，包括在百度的这段经历？

Brian Catanzaro：我是 2008 年加入 NVIDIA 的。当时我还是个研究生，正尝试为人工智能设计并行计算方案。我当时就认为，NVIDIA 有可能改变计算机的运作方式。

主持人：人工智能——想必在 2008 年，这是一条相当孤独的探索之路吧？

Brian Catanzaro：哦，那时候真的相当混乱。大家都觉得我疯了。我记得 2008 年去参加 ICML，我发表了自己的第一篇论文，讲的是在 GPU 上训练模型。当时有人问我为什么会出现在那里。他们说：“这可不是一篇适合 ICML 的论文，我们这里只做高深的数学。” 我当时心想：“可是我认为计算能力对人工智能真的很重要。如果我们能训练出容量更大的模型，或许就能解决更多问题。”他们听完点了点头，那种感觉就像在说：“呃，我不太确定你为什么会在这儿。”

主持人：GPU 不是本来就是给游戏用的东西吗？

Brian Catanzaro：是的，确实也有这个用途，这种看法我们至今仍会遇到。其实，GPU 就是 NVIDIA 说它是什么，它就是什么。因为是我们把它造出来的。所以 GPU 是我们制造出来，用来加速这个世界最重要的计算任务的东西——1995 年的时候，这个最重要的计算任务是图形渲染，而很长一段时间以来，一直是人工智能。

总之，我就这样加入了 NVIDIA。我当时在研究部门，做一些相当“另类”的事情——试图为 GPU 上的人工智能打造编译器和函数库。这后来促成了 Copperhead 的诞生，一种嵌入 Python 语言、可编译到 GPU 上执行的语言，我认为它在很多方面预示了后来 TensorFlow 和 PyTorch 的方向。再后来，这促成了 cuDNN 的诞生，这是 NVIDIA 第一款面向 GPU 深度学习的产品。

我非常喜欢这项工作。但我一直渴望能更直接地接触人工智能的实际应用，而在 NVIDIA，我主要是在做人工智能的函数库和编译器方面的工作。所以，当吴恩达邀请我去百度和他一起打造硅谷人工智能实验室时，我心想，这是个很棒的机会。

主持人：和年轻时的 Dario 共事是什么感觉？当时有没有什么迹象表明，他会成长为今天这样的人物？

Brian Catanzaro：Dario 从一开始就非常出色。我记得当时我是面试他的评委之一。那时他一直在做生物信息学方面的工作，还没有涉足深度学习或我们如今所说的人工智能领域。但很明显，他学习速度极快，思考也极为深入。

我最欣赏 Dario 的一点，是他信念的坚定程度。我在这个领域工作了很长时间，我也一直相信人工智能将会改变世界，但我认为自己从未像 Dario 那样，全然彻底地相信这一点。也许这是因为我在博士期间受到的学术训练充满了谨慎。

不知道你还记不记得，2005 年的时候，人工智能被认为又老又“过时”。大家都说这东西永远行不通，人们从 1945 年就开始尝试了。所以此前有太多宏大的承诺最终未能兑现。因此，我一开始进入人工智能领域时，带着很多这种学术上的谨慎。而 Dario——他的坚定信念，他对当下这个时刻的理解，理解这项技术这次真的会成功，以及这对技术应该如何发展、应该建立什么样的机构所带来的启示——我认为他把这一切都做得非常出色。所以，没错，和他共事总是一段很愉快的经历。

主持人：后来你又回到了 NVIDIA。带我们走一遍这段历程吧。

Brian Catanzaro：十年前，也就是 2016 年，Jensen 给我打电话说：“嘿，愿不愿意回来组建一个应用研究实验室？”我觉得这是个绝佳的机会。我一直很喜欢 NVIDIA，喜欢这家公司的做事方式，喜欢这家公司所坚持的信念。NVIDIA 是一家非常独特的公司，它会在很长的时间跨度里坚持到底。我们在 CUDA 上坚持了十多年，我们在 Nemotron 上也在这样做。NVIDIA 一次又一次地表明，它不怕投入五年、十年的研究，只为改变这个世界。

所以我决定回去。我参与的第一个项目，后来成为了 DLSS，可能你的一些听众也听说过。DLSS 是我们面向图形的实时人工智能技术，它能让一块小 GPU 发挥出大 GPU 的效果。它的效率大约提升了十倍，因为它不再需要为每一帧的每一个像素都计算颜色，而是用人工智能来推断颜色。如今，当你使用 DLSS 玩游戏时，每 24 个像素中就有 23 个是由我们的人工智能模型生成的。

我们最近刚发布了 DLSS 5，这是一个完全生成式的 DLSS 版本，我对此非常兴奋。它凝聚了我们十年来在如何让实时图形更加精美这个问题上的研究成果。所以，对我来说，这是这段旅程的一部分——面向图形的实时人工智能。

但与此同时，我们也启动了一个语言建模项目。那是在 2017 年，早在 Transformer 大热之前。我当时只是有一种直觉，可能是基于在百度工作时看到的一些东西建立起来的。我就是有一种直觉，认为处理文本、理解文本，将会带来更好的推理能力，进而带来人工智能在各个领域中更好的应用。所以我们启动了一个叫 Megatron 的项目。

当时，业界有一种说法，说训练大型 Transformer 模型的唯一途径是使用 TPU，毕竟 Transformer 是谷歌发明的。于是我们研究了那篇 Transformer 论文，觉得这蕴含着巨大的潜力。我们在自己的语言建模任务上试用了一下，发现效果比之前用的 RNN 要好得多。同时我们也立刻意识到，这里存在一个巨大的系统层面的机会，可以协同优化 GPU、网络，以及所有能让人们大幅扩展基于 Transformer 的语言模型的编译器和软件。我们当时想，这件事真的可能带来重大影响。所以我们启动了 Megatron 项目，后来这个项目基本上帮助整个行业弄清楚了如何训练超大规模的大语言模型，同时也奠定了今天 Nemotron 项目的基础。

主持人：精彩的历程。好，那我们来聊聊 Nemotron 的方方面面。为什么 NVIDIA 一开始就要涉足模型开发，并在打造自己的前沿模型家族上投入如此巨大的力量？

Brian Catanzaro：Nemotron 承担着两项使命。第一项使命，是帮助我们理解如何构建未来的系统。NVIDIA 是一家加速计算公司，这意味着我们要从第一性原理出发，思考这个世界上最重要的计算难题，并设计出相应的系统。但要做到这一点，NVIDIA 必须深刻理解人工智能运作的方方面面。这正是我们为主要产品线协同设计所有系统和软件的方式。

所以 Nemotron 的第一项使命，就是确保 NVIDIA 能够持续存在下去，让我们能在摩尔定律已经终结的时代，继续提供实实在在的加速能力。如今我们所获得的加速，很大程度上来自于专业化。但专业化又来自于理解。所以 Nemotron 的第一项使命，就是帮助 NVIDIA 理解如何构建自身的核心产品。

Nemotron 的第二项使命，是支持整个生态系统。多年来，NVIDIA 打造出的最有价值的东西之一，就是全世界那些利用 NVIDIA 技术构建和部署出色人工智能应用的人。我们认为，NVIDIA 有必要继续提供这种开放的人工智能技术，以帮助支持这个生态系统。

Nemotron 并不打算成为唯一的开放人工智能技术。我们喜爱所有的人工智能技术，理由很简单：无论人工智能在哪个方向得到进一步发展和部署，对我们的业务来说都是一次机会。所以，我们非常明确地在努力发展自己的生态系统，因为这对我们来说就是好生意。但我们并不打算成为这个生态系统唯一的提供者。

摩尔定律早死透了，现在要比拼谁能榨干系统的每一颗晶体管

主持人：顺便问一句，摩尔定律已经死了？这是官方定论吗？

Brian Catanzaro：它已经死了好多年了，好多年了。

主持人：为什么这么说？

Brian Catanzaro：你只需看看半导体制造的发展就知道了。摩尔定律最初的表述其实是一个经济学命题：我们每隔大约 24 个月，就能以相同成本在同一块芯片上塞下两倍数量的晶体管。如今，这一点已经完全不成立了，而且大概已经有五到十年不成立了。

我们依然在通过若干方式扩展我们的系统。其一，就是投入大量更多的硅片资源。晶体管仍在持续变得更小、更高效，只是速度放缓了，但与此同时，它们的成本也变得相当昂贵。

在摩尔定律还生效的时代，打造未来系统的最佳方式，就是拿现在的系统，然后把它缩小，或许再把规模翻一番。但在我们已经经历了相当长时间的这个新时代——你无法再通过缩小现有设计来获得经济上的收益——你就真的必须更聪明地利用系统的每一个部分。

在这样一个时代，加速计算比以往任何时候都更有价值，因为从第一性原理出发思考问题、协同设计从晶体管到算法再到应用的方方面面、减少浪费并交付实实在在的加速效果——这项工作，比以往任何时候都更有价值。

主持人：回顾一下你刚才说的话——NVIDIA 之所以做模型业务是有充分商业逻辑的，一是它能帮助设计出更好的芯片，二是只要对人工智能有利的事，最终都对 NVIDIA 有利，这个逻辑非常说得通。Nemotron 这个项目相对来说是比较新的，对吧？我记得是从 2023 年开始的。能不能简要带我们走一遍几个关键的发布节点？

Brian Catanzaro：具体的编号在历史长河中已经有点混乱了。我感觉我们就像身处《魔戒》的故事里，仿佛在挖掘某个古老矿井中的远古遗物。这真的是很久以前的事了。我们最初所称的 Nemotron 1，其实是我们和微软合作的一个项目。我们联合训练了一个 5300 亿参数的模型，我记得是 2021 年发布的。所以这大概是 GPT-3 那个时代。当时我们把它称作 Megatron-Turing NLG。不过回过头来看，我们把它称为 Nemotron 1。

沿着这条路，我们又打造了几个模型，一路做到了 Nemotron 3。然后 Llama 出现了，我们对此非常兴奋。所以我们开始把自己的语言模型技术叠加到 Llama 模型上，这后来促成了 Llama Nemotron 1。那是第一个基于 Llama 构建的推理模型。然后我们持续推进这项工作。编号又开始从头计起。我记得我们去年发布了 Nemotron 2，然后很快又推出了 Nemotron 3，因为我们需要加入对一些特性的支持。

现在我们的处境有点尴尬，因为我们正在开发 Nemotron 4，但我们其实已经发布过一个 Nemotron 4 了——2024 年我们发布过一个叫 Nemotron 4 的 3400 亿参数模型。所以我也不太确定我们该怎么解决这个营销上的难题。但不管怎么说，我们在这方面已经投入了很长时间。

我认为，比起任何一个具体的世代版本，更重要的是 NVIDIA 对开发这些模型的持续投入。过去一年里我们的模型变得实用了非常多，这主要反映了两件事。第一，整个公司都行动起来了。第二，与此同时，我们也已经能够扩展投入其中的计算资源。我认为让所有人都明白这一点非常重要：我们已经做这件事很久了，我们正在大幅增加投入，而 NVIDIA 是一家坚持到底的公司。我们在 CUDA 上坚持了十多年，我们在 Nemotron 上也在这样做。

主持人：另一个重要的时刻，似乎是三个月前，也就是三月份成立的 Nemotron 联盟。能不能简单解释一下这是什么？

Brian Catanzaro：Nemotron 的存在意义就是支持整个生态系统。我们当时在想，嗯，这其实是一种与业界其他项目不同类型的人工智能项目，对吧？因为我们并不是真的想在任何方面取得主导地位。我们只是想提供支持。我们并不想控制人工智能被整合进这些公司的方式。

但我们想，或许如果我们在开发过程中就和大家合作，那么最终成果对他们来说会更有用。而 Nemotron 一直都是协作性的。我之前跟你说过，我们训练的第一个大模型，就是和微软一起做的。既然 Nemotron 的目标不是与其他公司竞争，而是提供支持，既然我们反正打算把它公开放出去，那为什么不在开发之前就先展开合作呢？

与其让 Nemotron 成为一个由 NVIDIA 独自完成、然后发布到网上说“嘿，你们要不要试试这个”的项目，不如让它对那些感兴趣的合作伙伴真正有用——通过在 Nemotron 尚未被创建之前，就与他们合作。事实证明，整个生态系统中有大量公司真心希望开放模型能够取得成功，所以他们自身就有这种利益诉求。那为什么不与他们合作，让他们以自己想要的方式为 Nemotron 做出贡献呢？这就是 Nemotron 联盟的理念。

把 4 比特精度的数塞进预训练，是一场极易跑飞的冒险

主持人：那 Nemotron 家族目前的现状是怎样的？你们有 Nano，有 Super，有 Ultra。这些模型分别是做什么的？

Brian Catanzaro：Nano 是一个总参数量 300 亿、激活参数量 30 亿的模型。Super 是 1200 亿和 120 亿，Ultra 是 5500 亿和 550 亿。它们的设计初衷，正是为了适配小型、中型和大型这三种部署场景。

对于那些不需要太多知识储备或推理能力的任务，Nano 就能表现得很出色，但如果要追求最强能力的模型，那当然要选 Ultra。而 Super 在很多方面是我们最受欢迎的模型，因为它在成本和智能水平之间实现了很好的平衡。所以我们比较喜欢这种“小、中、大”三档搭配的模型家族策略。但从 NVIDIA 的角度来看，人们用大语言模型做得最多的事情，其实是构建 agent，也就是打造 agentic 工作流。让 Nemotron 在这方面表现出色，是我们的目标。

主持人：从更高层面把这一点点明一下：Nemotron 家族聚焦于 agentic 推理，尤其注重效率。这样概括对吗？

Brian Catanzaro：没错。Nemotron 一直以来都是一种“速度优先”的建模思路，因为 NVIDIA 本身就是一家加速计算公司。Nemotron 3 家族里有很多东西是我们非常自豪的。比如说，Nemotron Ultra 和 Super 都是使用 4 比特运算进行预训练的。我们用 NVFP4 对它们进行了预训练，这可不是一件轻而易举的事。要发明出能让模型在如此粗糙的数值精度下依然收敛出优秀结果的算法，需要大量的创新。

主持人：能不能给大家解释一下，4 比特和比如说 16 比特之间的区别？

Brian Catanzaro：4 比特其实没有多少位可用，对吧？那只有 16 个可能的取值。当然了，这些都是所谓的“分块缩放”格式。我们之所以想这么做，首先是因为在我们的 GPU 上——尤其是在 Blackwell Ultra 上——这些格式能带来大幅提升的吞吐量。其次，我们知道这将节省大量能源。如果你接受这样一个事实——我们终将在极限状态下运行，那么这就意味着，获得更多智能的方式是提升效率。

当我们已经处于极限时，无法再靠堆砌更多算力来获得更多智能。我们必须更审慎地思考如何利用手头已有的资源。而 4 比特数值格式在数据搬运上要便宜得多。它们占用的内存空间更小，无论是读取还是搬运，所消耗的能量都大大减少。

如今要做出一个不错的、量化后的 4 比特检查点供部署使用，其实已经相当直接。但把 4 比特格式用于预训练，那就要棘手得多，因为你有一个数值求解器在优化权重，而它可能相当敏感。如果你处理数值的方式不当，你的模型可能会发散，这种情况总是很吓人的。所以，我们能用 4 比特格式对 Nemotron 进行预训练，这背后需要大量的创新。

主持人：那接下来我们聊一些稍微更技术性的东西——Nemotron 的架构是混合式的，对吧？也就是 Transformer 和 Mamba 状态空间模型的结合。

Brian Catanzaro：我们在 2024 年发表过一篇论文，证明将状态空间模型与 Transformer 结合起来，实际上能得到一个更聪明的模型。我们做了一次扫描实验，测试模型中应该有多大比例是全注意力，多大比例是状态空间模型，才能获得最低的困惑度。我们发现，实际上你希望模型大部分是基于状态的模型，只搭配少量的注意力机制。

背后的直觉是，状态空间模型似乎更擅长对序列的直觉式、整体印象式的理解，因为它们会把整个序列压缩总结进一个恒定大小的空间里。这种约束似乎反而让它们在一些涉及全局理解的任务上变得更聪明。而另一方面，全注意力的优势在于，它能够精确地挑出非常具体的信息片段。所以我们发现，把两者结合起来使用，实际上比单独使用其中任何一个都更好。自从我们发表这项研究以来，我认为业界很多其他实验室也发现了这一点。如今许多模型都在使用混合 SSM 的方式来构建。比如说，Qwen 就是这样做的，Kimi 也在使用他们所称的 Kimi 线性注意力。

主持人：这些模型同时也基于混合专家架构。带我们了解一下。

Brian Catanzaro：混合专家是一种稀疏性的实现形式。它的想法是：好，你想在整个互联网上训练一个模型，希望它能记住关于历史上一切事物的全部知识。但当它在回答某个具体问题时，真的有必要让它去思考整个宇宙才能回答这个问题吗？其实不需要。我们希望模型能够从整个知识宇宙中汲取养分，但在它真正运行的时候，它其实并不需要看到全部这些信息。

混合专家的工作方式是，神经网络里有一个所谓的“路由器”，它会为流经模型每一层的每一个 token，决定把激活值发送给哪一部分专家子集。它就像一座图书馆。如果你去图书馆做研究，你不会把图书馆里所有的书都读一遍。你首先要弄清楚的，是为了找到问题的答案，你需要查阅哪些书。

主持人：这有点像，假如我的公司有 550 名员工，但只有 55 名是工程部门的，那我希望这 55 名专业人员来参加我关于工程的会议。

Brian Catanzaro：没错。这对我们构建的系统有着有趣的影响。这就是我们打造 NVL72 的原因——它能让多达 72 块 NVIDIA GPU 以极高的速度、极低的延迟读写彼此的内存。为什么这很重要？因为当一个 token 逐层流经这一整叠层结构时，每一层都有一个路由器，把这个 token 路由到别处。我们打造 NVL72，正是因为在打造它的时候，我们就深入思考了混合专家的问题。这正对应了 Nemotron 的第一项使命。如果我们此前没有致力于理解人工智能，我们就不可能把 Blackwell 打造得如此到位。

主持人：你刚才描述的这个东西，叫做 latent MOE，还是说这是另一个不同的概念？

Brian Catanzaro：latent MOE 是我们 Nemotron 3 家族中一项具体的创新。它的作用，实际上是通过降维投影，减少计算过程中需要通过 NVLink 传输的通信量。每一个 token 都会产生一个向量，我们的思路是，我们要用一种学习到的方式把这个向量压缩，然后把这个压缩后的东西通过网络发送出去，再在接收端把它解压出来。这样一来，我们既节省了网络带宽，也在相同的推理成本下获得了四倍数量的专家。

主持人：混合专家总体上正在成为前沿人工智能的默认架构吗？

Brian Catanzaro：是切切实实的，我认为混合专家已经作为前沿人工智能的默认架构存在很长时间了。它们在推理成本和智能水平之间的结合确实非常出色。不过它们也有一些缺点。它们需要更多的内存。如果你的内存非常有限，稠密模型反而会更聪明。而且，它们的表现往往在两种极端情况下最好：要么你以批次大小为 1 运行；要么你运行的是一个拥有海量并发请求的大型数据中心。

主持人：Nemotron 3 Ultra 的另一个重要特性，是 100 万 token 的超长上下文窗口。这在整体组合中有多重要？

Brian Catanzaro：上下文长度越长，我们能用语言模型解决的问题就越具挑战性。这让我们能够做一些事情，比如把各种信息附加到一次查询里，可以是一个代码库，也可以是一系列指令。从长远来看，我希望自己能拥有一个专属的个人大语言模型，能够读完我所有的邮件，帮我回答关于这些邮件的问题。我们能附加到某次查询里的信息越多，模型就能变得越有用。不过，对海量输入数据进行推理，代价可能会越来越高昂。但在 Nemotron 3 上，我们尽可能把这个极限往前推。我们认为一百万个 token 已经相当可观了。

主持人：这对多步骤的 agentic 工作流特别有帮助，而围绕这个话题，还有一个完全独立的讨论，就是关于上下文压缩，确保模型不会在海量 token 中迷失方向。

Brian Catanzaro：完全同意。如果你在使用 agentic 工作流，压缩是你时时刻刻都要面对的一件事。而压缩通常效果相当不错，因为语言模型其实很擅长识别最相关的内容并加以总结。所以压缩本身并不是一种糟糕的方法。我认为，让模型能够天然地对更大量的数据进行推理，本身就更有用。

主持人：能不能聊聊多词元预测？

Brian Catanzaro：事实证明，GPU 上有一些额外的执行能力其实处于闲置状态。在这些场景下运行时，大部分的工作实际上是从内存中读取权重。但事实证明，如果你把两个 token，甚至五个 token 一起推送穿过同样这些权重，所花的时间基本上是一样的，因为真正昂贵的部分不是数学运算，而是把所有这些权重从内存中读取出来。所以多词元预测的思路，就是利用这一点：让模型一次预测多个 token。然后我们用模型自己来做二次核验。开启多词元预测完全不会降低你的准确率，但它能带来速度上的提升，而且这种提升是概率性的。有了多词元预测，你所获得的速度，是模型准确率的一个函数。你的模型越准确，推理速度就越快，推理成本也就越低。

主持人：继续这场“参观之旅”——多教师蒸馏，我们前面稍微聊过一点蒸馏这个话题——在 Nemotron 3 的语境下，这意味着什么？

Brian Catanzaro：在 Nemotron 3 Ultra 上，我们使用了一种叫做多领域同策略蒸馏的方法进行后训练。它的具体做法是：我们有很多想要提升模型的不同方面。在 Nemotron 3 上，我记得我们大概用了 10 到 15 个这样的“教师模型”。思路是，你拿这些教师模型，在某个特定领域上尽可能把它们推到极限。然后你会有一整批这样的模型，你希望创造出一个能够学会在所有方面都表现出色的模型。

这种方法的一个好处是，因为教师模型在做监督，它们能够为学生模型提供非常密集的奖励信号。这样做的一个好处是，它真的有助于团队更好地协作。如果没有这样一种技术，一个团队说我要让它在这方面变得更好，另一个团队说我要让它在那方面变得更好，那就可能出现拉锯战。2026 年打造人工智能的一大挑战，就是要弄清楚如何让人们协同合作，即便你归根结底只是在打造“一个”东西。

主持人：太有意思了。所以这既是一个技术问题，同样也是一个人类组织的问题。

Brian Catanzaro：完全正确。你们做的一件很了不起的事情，是在 Nemotron 的语境下也公开了数据，也就是训练数据。那么，用于后训练、以强化学习为核心的工作，这些数据究竟是从哪里来的？

主持人：这不是一个容易回答的问题，因为情况相当复杂。但我想说，我们依靠一系列不同的途径。其一，我们确实会从一些专门构建数据集、可供购买的公司那里购买数据。只要我们拥有再分发或公开这些数据的权利，我们就会把它作为 Nemotron 数据工作的一部分开放出去。同时，我们也非常相信合成数据生成这条路。我们会投入大量算力，在自己的系统上运行语言模型来生成合成数据，这些数据随后能帮助我们的模型在特定领域更好地解决问题。人工智能永远遵循“垃圾进、垃圾出”的规律，所以你必须非常努力，确保你创建的任何合成数据都真正能带来价值。

主持人：既然我们在聊后训练和强化学习在不同领域的应用，我很想听听你对泛化问题未来走向的看法。整个行业似乎正在从编程和数学——这两个拥有可验证奖励的领域——走向不同的行业。你觉得这就是未来的方向吗？

Brian Catanzaro：编程之所以特别，是因为它是一项极具智力挑战性、又创造了大量经济价值的活动，这就意味着我们拥有海量可供学习的 token，同时也拥有能让我们验证模型是否真正解决了问题的工具。所以编程在我们心中永远占据着特殊的位置。

至于其他领域，我觉得让我兴奋的地方，在于让人工智能在强化学习过程中学习的环境会变得显著更加多样化、更加复杂。我相信强化学习是一种极为通用的教导人工智能解决问题的方式。我们才刚刚开始摸索如何将其应用开来。回顾我们如今使用的这些环境，说实话，它们依然相当简单。我认为在接下来几年里，这方面会变得显著更加复杂。

“使命是老大，组织架构不是”

主持人：你之前提到过要让 500 个人协同工作。那么，退一步来看，讲讲 NVIDIA 的研究机构吧。它是怎么组织的？整体是如何运作的？

Brian Catanzaro：NVIDIA 并不是按照组织架构图来运作的。我们确实有一张组织架构图，但它其实并不是理解我们工作方式的最佳途径。比如说，我的团队并不隶属于官方意义上的 NVIDIA 研究团队。我的团队实际上隶属于负责打造 GPU 的那个组织。而我的团队也并不是唯一在打造 Nemotron 的团队。公司里大概有十个团队都对打造 Nemotron 有着重大参与。所以有非常多不同的团队必须协同合作。我们常说，是“使命”在做老大，而不是“组织架构”在做老大。

但这也意味着，人们必须弄清楚如何协同合作。Nemotron 这个名字本身就体现了这一点。我们原本有一个 NeMo 团队，专门打造人工智能软件；还有一个 Megatron 团队，主要专注于构建大语言模型的系统研究。我们决定携手合作，然后开始把我们的项目统称为 Nemotron，以此体现这两个团队之间的协作关系。从那以后，Nemotron 已经大幅扩展。我们邀请公司内部各处的志愿者来参与打造 NVIDIA 的人工智能。

我们有一套正式的流程来实现这一点。我们有一个内部网站，人们可以在上面分享想法，然后这些想法会被分配给 25 位负责人之一。我们认为，能够弄清楚如何协作打造人工智能的机构会取得成功。

主持人：但你之前提到，尽管你们是在 GPU 领域无可争议的头号领导者旗下工作，但你们作为一个研究机构，其实并没有拿到你们想要的全部 GPU。那么，GPU 和算力的分配是如何进行的？

Brian Catanzaro：这是个非常复杂的问题。在 Nemotron 内部，我们有一份专属于 Nemotron 的预算。在 Nemotron 内部，我们会根据我们认为项目所需的东西来分配算力。我们有一套层级结构，然后我们有一个为期两周的周期，专门用来审核这些申请和预算。话虽如此，我认为我们在这方面依然可以做得更好。

做算力分配的决策很难，因为每一位研究人员都坚信，如果自己的想法能多拿到一千倍的 GPU 资源，就能改变世界，对吧？而他们说不定是对的。然而，我们正处于极限状态下运行。我们没有一千倍的 GPU 可以分配给我们的每一个想法。所以这确实是一个充满挑战的过程。我们尽量把尽可能多人的观点纳入这个过程，让大家至少能形成一种共识。

主持人：你们是如何在“有用的研究”和“伟大的探索性研究”之间取得平衡的？

Brian Catanzaro：我的信念是，研究需要经过一个“自我引导”的过程。研究本质上是一个“鸡生蛋、蛋生鸡”的难题。几乎每一位研究人员都相信：如果我拥有更多资源，我的想法就能改变世界。事实上，研究人员抱有这种信念是很重要的。那么，你要怎么把这份信念转化为其他人能够理解、愿意去投入的东西呢？

解决这种“鸡生蛋、蛋生鸡”难题的方法，就是自我引导（bootstrapping）。这是一种迭代式的问题求解方法：你先做一件小事，得到某种信号，证明这是个不错的想法，然后你把这个信号告诉大家，接着再申请多一点点资源。如果人们看到，比如说，“哦，那个实验结果还不错，挺有意思的”，那你就走上正轨了。随着时间推移，反复迭代，你就能逐步为自己的想法争取到可观的资源。

主持人：NVIDIA 这些年来的那些“登月计划”，也是这样起步的吗？是自下而上，由某个人想出一个好点子开始，还是黄仁勋说“我们就该做这个”？

Brian Catanzaro：Jensen 自己也有很多好点子。但 Jensen 一直反复强调，这是一家由志愿者组成的公司。所以，尤其是在早期研究阶段，我们往往会采取非常自下而上的决策方式。那我们是不是有时候也会有自上而下、对公司战略至关重要的想法？当然有。NVFP4 预训练就是其中之一。

作为公司领导层，我们决定，我们要在 FP4 硬件上大举投入。我们没有对团队说，你们必须做 NVFP4 预训练这个项目。我们说的是，这里有一个机会，如果我们能把这个问题攻克下来，对我们公司会意义重大。然后，我们让那些对此感兴趣的人去研究，最终我们成功了。所以，这是自下而上和自上而下的一种平衡。

主持人：听你讲的这一切，我很感慨 NVIDIA 的企业文化依然如此充满创业精神。

Brian Catanzaro：是的。NVIDIA 有一点非常不寻常，那就是其领导层任职时间之长。黄仁勋执掌这家公司已经 33 年了，但他并不是孤身一人。公司里还有很多其他非常资深的领导者，任职时间也长达三十年甚至更久。这些人都还记得，在一个非常小的 NVIDIA 工作是什么感觉。他们对这家公司有着共同的“主人翁”意识。在 NVIDIA，我们常说，没有人是“独自失败”的。你从事的是加速计算，而加速计算是由成千上万种技术组合而成的。只要其中任何一环未能实现加速，价值就会被摧毁。芯片再厉害，如果编译器很糟糕，那也无济于事。我们在 NVIDIA 内部对此有着深刻的文化认同，而这正是我们协作方式背后的驱动力之一。

大模型是一台马力强劲的发动机，但没有轮子，哪儿也去不了

主持人：也许作为收尾，我想请你从一位身处这一切最前沿的人的角度，谈谈未来可能的走向。我在某个地方读到，你不算是一个“奇点论”的信徒，是这样吗？

Brian Catanzaro：没错。

主持人：为什么这么说？

Brian Catanzaro：我认为智能是一件极其多面向的事情。我总会想到这样一个问题：如果一家公司要寻找自己的下一任 CEO，它会通过寻找一个曾经赢得国际数学奥林匹克竞赛的人来找到这位 CEO 吗？大概不会吧。尽管那真的很了不起，但那并不是经营一家公司所需要的那种才智。

如果我们看看文化中其他一些非常重要的方面——比如说音乐人，成为一位大红大紫的音乐人，需要哪种智能？所以，当我思考“智能”这个概念时，我认为它是极其多面向、极其依赖情境的。原始智力有点像发动机的马力，但一台没有轮子的发动机，哪儿也去不了，对吧？所以智能——智能所产生的影响，很大程度上取决于这份智能所处的情境。当我这样思考时，我认为“奇点”虽然是一个很有吸引力的想法，但却是一个想错了方向的想法。

所以我相信，人工智能会持续快速发展，它将在整个世界经济的方方面面释放出重要的能力。同时，我也担心要如何管理好这个转型过程。归根结底，我对人类解决问题的能力抱有信心。我们一直在打造工具，打造帮助我们解决问题的“外部器官”。我们有一个外部的胃，我们称之为厨房。而现在，我们正在打造一个外部大脑。外部胃对我们这个物种带来的影响是极其深远的。那么，一个外部大脑会带来什么影响？这非常深远，其实没有人真正知道答案。

但我确实相信人类解决问题、不断学习、并以对我们有益的方式吸纳新技术的这种能力。我也相信，我们这个星球所面临的问题，全都需要更多的智能才能解决。这对我来说意味着，未来我们真正能够创造出来的工具，只可能是人工智能。所以这让我对未来抱有希望，但同时也让我对即将到来的挑战保持敬畏。

主持人：你们内部有没有感受到那种似乎正在形成的“人工智能反弹”情绪？

Brian Catanzaro：我一直很担心公众如何看待和使用技术。关于人工智能，有意思的一点是，我相信当它真正融入日常生活的时候，往往更容易被人们接受。当你让地图应用帮你规划开车路线时，你会在意这背后是不是人工智能吗？其实这背后是相当复杂的人工智能技术在起作用，但你并不会真的去想这个问题。所以我觉得，人们对人工智能的接受程度，是随着经验的积累而增长的。

阳光是最好的安全网：自上而下的围墙花园，反而更不安全

主持人：也许最后一个问题，我想确认一下我们也聊到了安全问题。目前安全方面的现状是怎样的？开源和闭源在当下的安全讨论中，各自扮演着什么样的角色？

Brian Catanzaro：安全如今是每个人都在思考的问题。关于如何思考安全、如何定义安全，有许多不同的思路。我可能有一个略显非主流的看法，那就是：我认为开放技术总体上更安全，因为它有更多的“阳光”照进来。

当有更多人在思考一项技术的安全性、在评估它、并努力让它变得更安全时，我认为这本质上比让一小撮人替所有其他人负责安全，要安全得多。我也认为，因为人工智能本质上关乎的是想法，所以多样性其实比单一文化更安全。多样性真正的意义在于那些困难的地方。我认为，让人们能够以多样化的方式去探索自己的想法，比试图打造一个“围墙花园”要更加安全。

这在今天的人工智能环境中是有争议的，我觉得这很有意思，因为在人类数百年的传统里，恰恰有直接针对这个问题的历史经验。比如在美国，我们有关于良心自由和言论自由的法律。这并不是因为我们没有花上几千年去考虑过如果没有这些自由是不是会更安全，恰恰相反，我们确实尝试过一种“单一文化”式的做法，而我们发现，这种做法远远不如一种“多元主义”来得安全。所以我相信，开放的人工智能技术，本质上就是构建人工智能最安全的方式。

主持人：好的，我很喜欢这个说法。用一个颇具争议的观点来结束这场对话。Brian，这真是太棒了。非常感谢你，真的很感激你今天抽出时间和我们聊这些。