端侧AI推理7月趋势：模型压缩、推理框架与硬件的协同进化

一、为什么端侧AI在2026年成为焦点

7月份的几个信号让我确信，端侧AI正在进入爆发期。

Apple Intelligence在WWDC 2026上全面落地了设备端推理。

Google发布Gemini Nano 2，可在Pixel 10上本地运行8B模型。

国内OPPO、vivo、小米相继把端侧AI作为旗舰机核心卖点。

从技术层面看，这股趋势并不是单点突破带起来的。

而是三个变量在同一时间开始汇合：

• 一是模型持续变小（MoE、量化）
• 二是硬件能力持续抬升（NPU性能翻倍）
• 三是推理框架也在快速走向成熟（ExecuTorch、MNN、MediaPipe）

本文是7月对端侧AI领域的月度观察总结。

内容涵盖模型压缩、推理框架和硬件协同三个维度的最新进展。

二、模型压缩：从INT8到混合精度

7月模型压缩领域的核心进展是混合精度量化。

传统的INT8量化做法很直接。

它会把所有权重统一压到8位。

问题也出在这里。

不同层对量化的敏感程度，根本不是一个量级。

attention层对精度非常挑剔。

一旦量化，质量损失往往会比较明显。

相比之下，FFN层要“皮实”得多。

量化带来的影响通常没那么大。

混合精度量化的思路是按层分配位宽：

# 混合精度量化配置示例from torch.ao.quantization import QConfig, get_default_qconfig# 敏感层使用INT8attention_qconfig = QConfig(activation=torch.ao.quantization.MinMaxObserver.with_args(dtype=torch.qint8, qscheme=torch.per_tensor_affine),weight=torch.ao.quantization.MinMaxObserver.with_args(dtype=torch.qint8, qscheme=torch.per_channel_affine))# 非敏感层使用INT4ffn_qconfig = QConfig(activation=torch.ao.quantization.MinMaxObserver.with_args(dtype=torch.qint8, qscheme=torch.per_tensor_affine),weight=torch.ao.quantization.MinMaxObserver.with_args(dtype=torch.quint4x2, qscheme=torch.per_channel_affine))# 自定义量化配置映射qconfig_mapping = {"model.layers.*.self_attn": attention_qconfig,"model.layers.*.mlp": ffn_qconfig,}model_prepared = quantize_fx.prepare_fx(model, qconfig_mapping, example_inputs)

关键数据对比（以7B模型为例）：

量化方案	模型大小	推理速度(tokens/s)	质量损失(MMLU)
FP16	14GB	8.2	0% (基准)
INT8	7GB	15.4	-0.3%
INT4	3.5GB	24.1	-2.1%
混合精度(INT8/INT4)	5.2GB	19.8	-0.5%

混合精度方案实现了接近INT4的体积和速度。

同时保持了INT8的质量水平。

这是7月最值得关注的量化进展。

三、推理框架：ExecuTorch的全面成熟

PyTorch的ExecuTorch在7月发布了1.0正式版。

这是端侧推理框架的一个里程碑事件。

ExecuTorch 1.0的关键特性：

• 完整的AOT（Ahead-of-Time）编译流程
• 支持iOS/Android/嵌入式Linux三大平台
• 算子库覆盖率达PyTorch的92%
• 集成XNNPACK和CoreML后端

部署流程示例：

# 1. 导出模型import torchfrom torch.export import exportmodel = MyTinyLLM()model.eval()exported_program = export(model, (example_input,))# 2. AOT编译from executorch.exir import to_edgeedge_program = to_edge(exported_program)executorch_program = edge_program.to_executorch()# 3. 保存为可部署格式with open("model.pte", "wb") as f:f.write(executorch_program.buffer)

Android端加载：

// Android端加载ExecuTorch模型class AILoader(private val context: Context) {fun loadModel(assetPath: String): Module {val modelBytes = context.assets.open(assetPath).use {it.readBytes()}return Module.load(modelBytes).apply {// 预热推理val dummyInput = Tensor.fromBlob(floatArrayOf(0f), longArrayOf(1, 1))forward(dummyInput).use { /* discard */ }}}fun infer(module: Module, tokens: LongArray): FloatArray {val inputTensor = Tensor.fromBlob(tokens, longArrayOf(1, tokens.size.toLong()))return module.forward(inputTensor).use { output ->output.dataAsFloatArray}}}

除此之外，国内的MNN 2.x在7月也发布了重要更新。

新增了对混合精度量化的原生支持和对高通NPU的后端适配。

阿里的推理引擎在中文场景和移动端优化上有天然优势。

四、硬件协同：NPU成为标配

2026年的移动芯片格局已经清晰：

芯片	NPU算力	支持精度	内存带宽	代表机型
A18 Pro	38 TOPS	INT8/INT4/FP16	78 GB/s	iPhone 18 Pro
骁龙8 Gen5	45 TOPS	INT8/INT4	85 GB/s	小米17 Ultra
天玑9500	42 TOPS	INT8/INT4	82 GB/s	OPPO Find X9
Tensor G6	35 TOPS	INT8/FP16	72 GB/s	Pixel 10

关键观察：

• NPU算力已进入40TOPS时代，是两年前的3-4倍
• INT4精度成为NPU标配，使8B模型可在手机本地运行
• 内存带宽仍是瓶颈
• NPU算力提升快于内存带宽

这意味着端侧AI的瓶颈正在从算力转向内存。

推理优化的关注点也应随之调整。

五、总结

核心技术提炼：

• 混合精度量化是2026H2的趋势：attention层INT8 + FFN层INT4的组合，在质量损失<1%的前提下实现2.4x推理加速。是端侧部署7B级模型的最优方案。
• ExecuTorch 1.0标志着端侧框架成熟：PyTorch→ExecuTorch的AOT编译链打通，算子覆盖率92%，是端侧部署的首选方案。
• 内存带宽取代算力成为第一瓶颈：NPU TOPS两年涨3-4倍，内存带宽只涨40%。优化重心应从计算优化转向内存优化（KV Cache压缩、子层权重共享）。
• 国产框架MNN 2.x值得关注：混合精度+高通NPU的原生支持，是国内端侧AI部署的务实选择。
• 端侧模型部署的黄金公式：INT4/混合精度(压缩)× NPU后端(加速)× 流式推理(内存优化) = 8B模型在手机上实现15+ tokens/s的用户可接受体验。