↓ Skip to main content

KV 卸载中的互连瓶颈

·56 words·1 min
Jinyu Chen
Author
Jinyu Chen
问题驱动的个人知识库

Identity
#

  • 原标题:Understanding Bottlenecks for Efficiently Serving LLM Inference With KV Offloading
  • 作者:William Meng; Benjamin Lee; Hong Wang
  • 年份与版本:见下方提交日期差异;arXiv v1;arXiv 预印本。
  • 实际读取材料:预印本摘要页。

Reading
#

2026-10-12 实际读取:arXiv v1 摘要、题录和提交历史,未读正文。摘要页标提交 2025-12-16,标识符为 2601.19910;本次不解释两者差异。 摘要及部分正文阅读不代表全文复核。

Summary
#

**所读材料中作者的主张,以下为 AI 概括:**作者研究 CPU DRAM 卸载受 PCIe 传输制约的问题,提出缓存 token 与 prefill token 比例的临界分析框架。

Limits
#

未核验阈值推导、模型参数或测量设置。页面注明 Submitted to MLSys 2026,不等于已录用;不能将个别测量比例推广到所有推理。

Links#

联系:容量、传输和执行效率的成本分类。本资料在存储与服务地图中按阅读范围定位。