↓ Skip to main content

存储与推理服务:放置、迁移与服务目标

·91 words·1 min
Jinyu Chen
Author
Jinyu Chen
问题驱动的个人知识库

Overview
#

数据放在哪里、请求从哪里读、何时值得搬动,决定成本、可用性和时延。本图将故障结构、正常服务与重配置过程连起来;同时区分分布式副本、单机混合介质和 LLM 缓存这些不同对象。组织方式为 AI 候选。

Prerequisites
#

先掌握副本提供替代副本这一基本目的,并区分永久数据丢失与暂时不可读。进入 LLM 分支前阅读KV 为什么可复用与缓存优化的不同成本,避免把容量增加直接理解成访存更快。

Reading
#

  1. 为什么相同副本数仍有不同风险:先看共同故障和修复窗口,理解可行落点为何受结构约束。
  2. 为什么还要决定路由与迁移:在可行布局之间加入读写成本与到达过程,区分静态结果和动态执行。
  3. 平均时延、尾概率与 SLO:最后明确优化的服务指标与测量边界,防止不同论文的“更快”被直接合并。

Sources
#

阅读范围是本次记录,不能由“经典”或发表场所替代。完整作者与版本见各来源页。

分支来源与用途本次范围
可靠性基础副本放置、修复速度与可靠性:修复速度与组合风险;分层故障域中的副本放置:树形共同故障;Kinesis:结构与在线选择相结合的放置:隔离结构与选择自由A01 第 1—3 节及第 4 节比较机制;其余摘要
资源利用SRS:同时考虑机架与存储利用率的放置:机架与节点容量一起参与启发式作者 PDF 主要章节,未逐格核表
放置目标纠删码存储的平均时延与成本联合优化:平均时延/成本;纠删码存储中的尾时延优化:尾概率;容量与负载约束下的地理数据放置:容量、负载与传输成本摘要
迁移与动态管理CRANE:副本迁移过程的调度:过渡过程;冷热对象的复制、读路由与迁移:冷热、路由和成本;边缘云 SaaS 的多目标副本放置与迁移:多目标与热点;边缘节点的动态去中心化副本策略:去中心化创建/删除B12 模型部分;其余摘要
混合设备Harmonia:混合存储中的放置与迁移协调:设备上的放置/迁移协调v4 摘要,不能直接替代副本模型
KV 访问KV 卸载中的互连瓶颈:CPU 卸载互连;异步预取 KV:用计算覆盖访存等待:L2 预取;Kelle:KV 缓存与 eDRAM 协同设计:eDRAM 维护摘要,属不同硬件层次
服务编排Nuska:分离推理的阶段感知通信调度:依赖阶段和 TTFT;OServe:随工作负载改变模型部署:负载构成改变部署;WWW.Serve:去中心化 LLM 服务互联:自主参与和请求分发当前版本摘要
调度目标扩展GCOS:结合模型与数据复用的绿色调度:缓存复用、成本与碳排放;ARO:遥测驱动的异构集群编排:遥测与异构资源S03 摘要;S04 网页部分且存在证据缺口
方法分类数据复制与放置策略综述:动态、元启发式、多准则与学习路线仅摘要,不能据此排名
待补原文十篇已核题录的文献:广域片段、多源迁移、预测、RLRP、云边端、早期放置、RPCE、RTT、OASIS、Laser题录;不承担机制和数值结论

Connections
#

放置与缓存都在有限资源下选择数据,但语义不同:可重新取得的缓存可以淘汰,承担持久性的副本还需满足恢复与一致性条件。协同缓存的学习目标帮助理解命中与路由的耦合;其中的价值分解条件不能直接推广到副本迁移。

GPU 内预取、跨 PCIe 卸载和跨中心搬运都涉及数据移动,属于潜在结构相似;它们的可重叠计算、失败语义与可用带宽不同,须分别核验。

Questions
#

来源证据补全决定哪些机制还不能进入解释;迁移收益如何计入过渡代价决定怎样比较动态策略。当前范围支持基本分析路径,不支持把不同论文拼成统一最优算法。

返回主题地图。