LONGFORM READING
凯时娱乐互动专区 行业资讯 卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法

卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法

大模型走向大规模在线服务,一个常见却又有些反直觉的现象是: 卡加得越来越多,吞吐却涨得越来越慢 问题出在哪?在 DeepSeek 等 MoE 模型的一类部署中,多组计算卡并行处理大量请求,每组既处理各自的请求,又要通过跨组通信,共同完成每一步解码。这意味着解码是齐步走: 只要最忙的一组没算完,其他组算得再快也只能等 更麻烦的是,请求即使分得一样多,各组实际承担的负载也可能不同,于是较轻的一组提前算

大模型走向大规模在线服务,一个常见却又有些反直觉的现象是: 卡加得越来越多,吞吐却涨得越来越慢 问题出在哪?在 DeepSeek 等 MoE 模型的一类部署中,多组计算卡并行处理大量请求,每组既处理各自的请求,又要通过跨组通信,共同完成每一步解码。这意味着解码是齐步走: 只要最忙的一组没算完,其他组算得再快也只能等 更麻烦的是,请求即使分得一样多,各组实际承担的负载也可能不同,于是较轻的一组提前算完、空等最忙的一组,就成了常态。这种等待会随 token 生成反复发生,每一步都等一点,累积下来,部署规模扩大的收益便被悄悄吃掉了。 所以,瓶颈并不卡在算力那里,而是卡在「谁来等谁」上。 针对这一瓶颈, 香港科技大学周子杰团队与华为 2012 实验室理论部联合提出 BalanceRoute 。团队的思路很直接: 先把问题说清楚,再谈优化,即通过数学建模刻画同步等待,再将短期负载预测转化为在线路由决策。 效果也经得起检验。在论文的 96 卡主实验中,采用实际预测器的 BR-H 相对所比较的最强基线, 解码吞吐提升约 15% 这项工作已被 NeurIPS 2026 接收,并 已部署于双方共建的 MaaS 推理服务系统 MathBot-Pie 论文标题:Tackling the Data-Parallel Load Balancing Bottleneck in LLM Serving: Practical Online Routing at Scale 论文链接:https://arxiv.org/pdf/2605.06113 代码链接:https://github.com/b010001y/BalanceRoute 请求数相同,负载仍会不同 大模型生成回答,通常分为预填充(prefill)和解码(decode)两个阶段。预填充先处理整段输入,把后续生成需要复用的中间结果保存为 KV 缓存;解码再逐个生成输出 token。每生成一步,都需要读取此前输入和已生成内容对应的 KV 信息。 在本文研究的预填充 — 解码分离(PD 分离)系统中,这两个阶段由不同的计算资源承担。请求完成预填充后,路由器为它选择一个解码工作单元,已有的 KV 缓存也随之传送过去。一个单元可由多张计算卡组成。 轮询等方法可以依次把新请求分给各组,却没有区分每条请求需要处理多少 KV 信息。同样处理两个请求,长上下文对应的缓存更多,单步读取与计算的负担也可能更重。因此,在同步约束下,请求数相同,较轻的组等待较重的组仍是常见的问题。 图 1|预填充完成后,请求被分配到解码工作单元。下方展示本文部署中解码步内的计算与同步:每组都是两个请求,KV 总量却不同,较轻的组会等待最忙的一组。斜线为等待示意。 负载还会随生成不断变化。每生成一个 token,请求就会新增相应的 KV 信息,下一步需要处理的上下文也随之变长,请求完成,则退出后续解码计算。与此同时,预填充侧还在送来新请求。某组可能连续多步变忙,也可能因一条请求结束而突然减轻负担。 图 2|解码中的负载变化:新请求带着预填充得到的 KV 缓存加入,已有请求随生成增长,完成的请求退出。较轻的单元等待当前最忙的一组;同一请求始终留在原单元。 把运行中的请求转交给另一组,需要搬运已经积累的 KV 缓存。考虑这一开销,论文采用分配后不迁移的设定:路由器必须在输出长度未知、负载不断变化时作出选择,请求随后留在该单元直到结束。 数学建模,把同步等待变成决策目标 从每一步的同步关系出发,通过数学建模,把各单元与最重单元之间的负载差相加,得到不均衡指标。设第 k 步中,单元 g 负载为 L_g (k),最重单元负载为 M (k),一共有 G 个单元。单步不均衡可以写作: I (k) 这个量越大,说明各个单元之间的算力分配越不齐。这个指标刻画了同步等待对应的空闲,长期目标则是减少它在连续解码步骤中的累积。 如图 3,四组负载为 10、7、6、5,此时 I (k) 为 12。给 C 增加 4 单位负载,恰好填平它与最重单元的差距,I (k) 降至 8;若增加 5,C 就变成新的最重单元,让其他三组各多等一份,I (k) 为 11。 图 3|填补空闲与抬高峰值的权衡。两个接入方案均从同一初态出发;蓝色为已有负载,绿色为新增负载,斜线为空闲差额,粉色突出峰值上升带来的额外等待。数值为示意负载单位。 这个例子揭示了分配的关键权衡:接入新请求能填补较轻单元的空闲,但若把它推成新的最重单元,就会增加其他单元的等待。接下来,需要把这种比较延伸到未来多个步骤。 预测多远,取决于路由真正需要什么信息 一次分配的影响会延续到后续解码。两组此刻一样忙,其中一组若有请求即将结束,就可能很快释放负载。BalanceRoute 的 BR-H 因此引入 H 步窗口,估计

about image

分享这篇内容

让更多人看到这份有价值的赛事观察。

TRENDING DESK

热点新闻

快速查看当前内容池中正在被关注的文章。

“卖出去也不赚钱”:消息称三星手机2026Q4最高减产30%

“卖出去也不赚钱”:消息称三星手机2026Q4最高减产30%

IT之家 10 月 8 日消息,Money Today 今天(10 月 8 日)发布博文,报道称三星电子移动体验(MX)部门已计划智能手机减产计划,预估 2026 年第四季度产量最高降幅达到 30%, 标题还称三星手机“即便卖出去,也不赚钱”。 IT之家注:原文中并未明确指出这 30% 是如何对比得出的,可能是环比、同比,或者是此前预期产量对比。 多家 IT 行业知情人士收到风声,称三星 MX 部
惜别江城!从中网登顶到武网退赛,郑钦文理性取舍护航职业征途

惜别江城!从中网登顶到武网退赛,郑钦文理性取舍护航职业征途

齐鲁晚报·齐鲁壹点 怀晓 在权衡身体与心理负荷之后,郑钦文选择退出武网。新华社发 北京钻石球场的欢呼尚未散尽,武汉光谷的签表已然高悬。然而,球迷期待的“背靠背”冲冠大戏并未如期上演。10月12日,武汉网球公开赛正赛揭幕当日,刚刚在中网加冕的郑钦文因右肩伤病宣布退赛,连续第二年缺席家乡赛事。 短暂的夺冠狂欢背后,是连续高强度鏖战所带来的身体负荷。放弃武网虽令球迷遗憾,却是一次理性取舍,守住健康,她才
噩耗突袭!马科斯苦心布局全面崩塌,杜特尔特迎来绝地反杀时刻

噩耗突袭!马科斯苦心布局全面崩塌,杜特尔特迎来绝地反杀时刻

马尼拉大都会那个-27的数字,是2026年10月8日SWS民调里最刺眼的一笔。马科斯在自己家门口的首都圈,净满意度被打到负二十七。 棉兰老岛-21,维萨亚群岛-13,吕宋其他地区勉强守在0。全国总盘子的净满意度从6月的-7滑到了-11,评级从"中性"直接掉进"差"。 35%的人说满意,46%的人说不满意,还有20%没拿定主意。这组数字拎出来一看,马科斯苦心布局全面崩塌这句话就不是夸张了,而是账面上
30+26+19+13!布朗盖帽杀死比赛!76人冲上联盟第一

30+26+19+13!布朗盖帽杀死比赛!76人冲上联盟第一

北京时间11月5日,NBA常规赛:活塞主场vs76人。截至今天赛前,76人7胜1负高居东部第一,活塞6胜1负排名东部第二,76人唯一的失利正是输给了活塞。活塞二当家杜伦腿筋拉伤继续休战,本赛季至今他只打了2场比赛。 76人首发:马克西、埃奇库姆、杰伦-布朗、詹姆斯、恩比德。活塞首发:坎宁安、邓肯-罗宾逊、奥萨尔、科林斯、保罗-里德。詹姆斯的经纪人里奇-保罗今天表示:“詹姆斯在76人打球比在湖人时更
纳斯变阵见效!76人利用深度缩减主力时间 恩比德单场命中多记三分

纳斯变阵见效!76人利用深度缩减主力时间 恩比德单场命中多记三分

根据PhillyVoice.com记者Adam Aaronson的消息,尼克-纳斯(Nick Nurse)利用球队的阵容深度,减少了首发球员的出场时间。在执教费城76人的前三个赛季里,纳斯过度使用首发的倾向一直是让球迷感到沮丧的原因。 纳斯说道:你们经常听到我谈论我们的目标出场时间,而且乔尔-恩比德(Joel Embiid)也投进了两个三分球,这是他自10月20日揭幕战以来首次单场命中多个三分。我