大模型推理的负载变革：从单轮聊天到长上下文

大模型服务的主战场，正在发生一次静悄悄的转移。从单轮聊天，转向检索增强问答、多文档摘要和长程Agent。这些新负载有一个共同特征：一条请求的prompt，往往由几十到上百个语义独立的片段拼接而成。

检索到的文档、技能说明、记忆文件、历史轮次，被一股脑地组装成数万乃至数十万token的超长上下文。在这个长度下，预填充（prefill）阶段成了单请求的算力开销大户。它直接变成服务商最显眼的成本来源。更棘手的是，一旦发生缓存未命中，尾部首token延迟（TTFT）能冲到数十秒，体验感直接崩盘。

HYPIC系统：首个在混合注意力模型上实现PIC的服务系统

小红书大模型推理团队联合北京大学、上海交通大学，推出了一套名为HYPIC的系统。这是首个在混合注意力大模型上实现PIC（位置无关缓存）的服务系统。

在4个生产级混合注意力模型、5个工作负载的测试中，首token延迟平均降低了3.25倍。在相同SLO下，可持续QPS提升了1.66倍。任务质量与完全重算相比，仅相差1.71分。

这套系统的核心思路，是对混合注意力模型里的线性层和全注意力层分而治之。再通过一层系统级并行，把冷请求也一并加速。三个机制环环相扣。

机制一：线性层——缓存“转移算子”，实现常数时间状态组合

先说线性层如何处理。HYPIC缓存的是“转移算子”，这样就能在常数时间内完成状态组合。

最直接的PIC稻草人方案，是把两段各自的零初值末状态直接相加。这在朴素线性注意力下恰好成立，但一旦遇到带衰减、门控、delta擦除的进阶线性注意力（比如RetNet、Mamba2、GLA、DeltaNet、GDN、KDA等），就会失效。

真正被漏掉的关键量，是一个段累积转移算子T_C，即一段内所有token转移矩阵的连乘。真实的末状态应该是S(C1·C2)=T(C2)·S(C1)+S(C2)。朴素相加恰恰丢掉了T(C2)这一项，造成结构性误差。实测显示，RetNet慢衰减头在256token时，误差已经达到状态范数的22%。

HYPIC的关键洞察在于：T_C和零初值末状态S(C|0)都只由片段内部的token决定，与前缀无关。因此，在片段首次prefill时，它把二元组(T_C, S(C|0))一并缓存起来。复用时，按照组合律左乘T_C再相加，就能在常数时间内近乎精确地还原任意前缀下的末状态。而且天然覆盖全部线性注意力家族。

实测在Qwen3.5-35B-A3B上，组合后的状态在第0层与完全重算仅相差6×10，落在FP16噪声之内。针对带因果卷积、带RoPE的变体，HYPIC分别用卷积状态热身和状态重旋转两个补丁，做了严格对齐。

机制二：全注意力层——用“缝合窗口”修复跨段注意力

再看全注意力层。HYPIC用“缝合窗口”来修复跨段注意力。混合模型中的少数全注意力层仍然需要PIC，但以往的选择性重算无法直接迁移。因为下方的线性层只保留末状态，非末尾token无法向上穿过全注意力层。

两种退路——逐token存循环状态，或者从零重新递推——在存储或算力上都不可接受。团队的观察是，KV拼接后的偏差高度集中在每个复用片段的开头，其余部分几乎不受影响。这与全注意力模型里的attention sink现象一致，在混合注意力模型里同样成立。

据此，HYPIC为每个内部片段开头w个token构造一个缝合窗口。缓存时，这几个token不入缓存；复用时，在完整前缀下重算，以修复跨段注意力。默认w=8。由于实际片段长度通常大于512token，缝合窗口只占极小一部分，重算开销完全可控。

为了支持段首KV重算，线性注意力层在复用时需要即时算出缝合窗口自身的T和S。一边推进running state，一边把每个seam token的逐层输出前传给上层的全注意力层。

机制三：段并行——把“长冷请求”变成可加速的负载

第三块拼图是段并行。它把“长冷请求”也变成了可加速的负载。缓存未命中是不可避免的——语料持续更新、低频文档被淘汰，而长冷请求正是尾延迟的主因。

现有系统仍然把整条prompt当作一个整体，在单实例上串行prefill所有冷片段，TTFT随着O(n·|C|)增长。张量并行等实例内并行虽然能加速单次前向，但扩展性有限。一条100k token请求在TP-8下仍然需要17.7秒。

但PIC已经让每个片段自包含——其prefill结果只由内部token决定。HYPIC顺势提出实例间的段并行：Router探测每段命中状态，把冷片段并行分发给多个scatter worker，再由一个combine worker把各段结果组装成完整运行状态。从而把冷prefill从O(n·|C|)降到O(n/m·|C|+c)。

为了把这条路径跑满，HYPIC用LPT（最长处理时间优先）贪心策略均衡各worker负载。并把每段的计算与传输流水线重叠，避免combine worker被同步的传输突发拖住。段并行与实例内并行（TP/DP/SP）作用在正交的轴上，可以无缝叠加。

评测结果：TTFT降低3.25倍，QPS提升1.66倍，质量几乎无损

这套系统已经在SGLang上实现，约14k行Python与Triton代码。在8×H20节点上，选取了4个生产级混合注意力模型（Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B/122B-A10B）、4个公开数据集（HotpotQA、TriviaQA、MultiNews、GovReport）和1条生产RAG trace，完成了评测。

全量预热后，HYPIC相比Prefix Cache，将p50 TTFT平均降低了3.25倍（各模型在2.77倍至4.05倍之间），而质量几乎无损。16个“模型×数据集”单元平均只落后完全重算1.71分。在Qwen3.5-35B上甚至反超了0.47分。

作为对照，不缓存转移算子的朴素相加直接损失了66.9%的分数。这充分印证了T_C的必要性。在生产RAG trace上，同1秒TTFT SLO下，HYPIC把可持续QPS相比Prefix Cache提升了1.66倍（1.49倍至1.85倍），峰值单卡吞吐提升了约1.3至1.5倍。

在纯冷未命中路径上，一条32k token请求的TTFT从单worker的2.83秒降到了8worker的0.49秒，实现了5.7倍加速。而且几乎全部收益都来自可近线性扩展的scatter阶段。面对不均匀分片，LPT相比Round-Robin，把TTFT从1.26秒压到了0.84秒（3.6倍对2.4倍）。

开销同样可控：构造(T_C, S(C|0))的一次性开销，在最重的稠密转移模型上也仅为主前向的5.2%至6.7%。一次构造、多次复用即可摊薄。

总结：HYPIC让长上下文服务享受片段级缓存复用红利

HYPIC首次把位置无关缓存带到了混合注意力大模型上：用缓存的段累积转移算子，实现线性层的常数时间状态组合；用小小的缝合窗口，修复全注意力层的跨段对齐；再用段并行，把长冷请求变成可加速的负载。

它让RAG与Agent这类长上下文服务，在拥抱高效混合架构的同时，也能享受到片段级缓存复用的红利。团队表示，未来将进一步探索分布式的PIC管理与调度、多级缓存分层管理，推动大模型推理向更快、更省、更可扩展的方向持续演进。