7月24日，一位开发者在社交平台上分享了一项成果：通过自研的优化技术，让已经退役多年的Tesla P100（16GB显存）显卡，在运行35B（350亿参数）大模型时，速度暴增了88%！

老卡P100的现状

说到这里，可能有人会问：P100这东西不是早就该进博物馆了吗？

没错，它确实老了——2016年发布的计算卡，基于Pascal架构。16GB显存在当年算是豪华配置，但放到今天，跑现代大模型软件时，算力始终显得力不从心。

说白了，硬件底子还在，但软件生态已经把它甩开了。

优化原理：复刻定制内核

这位开发者做的事情，其实说穿了也不复杂：他复刻了GitHub上的ik-llama.cpp项目，专门为Pascal和Volta这两种老架构写了定制版的计算内核。

简单说，就是把之前被浪费掉的算力重新利用了起来——相当于给一张老卡装了个新变速箱。

性能提升数据

效果怎么样？从数据来看，在跑35B参数的MoE模型时，预填速度直接拉升了88%，解码速度也快了30%。

这可不是小打小闹的优化，而是实实在在的翻倍式提升。

MoE架构天然适配

关键还在于MoE架构本身的特性。每次推理时，只有部分专家网络被激活，并非全部参数同时参与计算。

配合量化压缩后，权重体积进一步缩小，单张P100的16GB显存就这么刚好装下了模型。

巧的是，这种架构还挺适合老卡的。

兼容性：老卡也能组队

兼容性方面，不光是P100，P40、V100甚至更早的型号也能用，而且允许在同一台机器里混插不同架构的显卡协同工作。

这意味着什么？意味着你手头那些吃灰的老卡，完全可以组个“杂牌军”来跑大模型。

使用门槛：需动手编译与散热改造

不过，话说回来，这套方案目前还没打包成一键安装工具。想用的话，得从GitHub拉取源码自行编译——这就对动手能力有了要求。

另外，Tesla P100是被动散热的计算卡，没有内置风扇，装机时还得额外解决散热问题。要么规划好风道，要么加装水冷。

总之，不是开箱即用的。

价格与价值：低成本本地跑大模型

最后聊聊价格。在海外二手市场上，P100已经相当便宜了。

对愿意折腾命令行编译和硬件改装的用户来说，这确实是一条低成本在本地运行35B级大模型的可行路径。

老卡不死，只是凋零——但P100这波，显然是被“超度”了。

《夸克》非常好用的免费AI浏览器

下载APP查看