7月24日消息，一位开发者在社交平台上分享了他的新成果：通过一套自研的优化技术，让已经退役多年的Tesla P100（16GB显存）显卡在运行35B（350亿参数）大模型时，速度暴增88%！

这张Tesla P100显卡是英伟达2016年发布的计算卡，基于Pascal架构，虽然它拥16GB的显存，但因架构太老，在运行现代大模型软件时，算力一直无法被有效调用。

该开发者通过复刻魔改GitHub平台上的ik-llama.cpp项目，专门为Pascal和Volta这两种老架构写了定制版的计算内核，相当于把之前浪费掉的算力重新利用了起来。

靠这套优化技术，该显卡在跑35B参数的MoE模型时，预填速度直接拉升88%，解码速度也快了30%。

而且由于MoE架构的特性，在每次推理时仅激活部分专家网络，并非全部参数同时参与计算。配合量化压缩后权重体积进一步缩小，单张P100的16GB显存便足以装入模型。

兼容性方面，该方案不仅适用于Tesla P100，同样支持P40、V100及更早型号，且允许在同一台机器中混插不同架构的显卡协同工作。

目前该方案尚未打包为一键安装工具，需要从GitHub拉取源码自行编译，而且Tesla P100作为被动散热的计算卡无内置风扇，装机时还需额外解决散热问题，需用用户自行规划风道或加装水冷。

在海外二手市场上，P100显卡价格已相当低廉，对愿意折腾命令行编译和硬件改装的用户来说，是用低成本在本地运行35B级大模型的可行路径。

《夸克》非常好用的免费AI浏览器

下载APP查看