对估计 Q 取 argmax，何时能改善真实累计回报？

原问题与价值

#

原有疑问是：“为什么 argmax(Q 网络的输出)就是贪婪的选择？为什么它能使累计奖励变大？”这里保留问题，将“相对于哪一个 Q 贪心”与“真实策略是否改善”分开。以下研究组织是 AI 候选，尚未形成经用户确认的完整推导。

已知

#

局部缓存决策与 QMIX已经区分：对估计累计回报取最大值，不是只取即时奖励；模型内部的最大化也不等于真实最优。该笔记及原论文来源处理的是多智能体分解的一致性，不能代替单智能体策略改进条件的完整证明。

尚缺什么

#

1. 先区分真实策略价值 $Q^\pi$、最优价值 $Q^*$ 与网络估计 $\hat Q$：每次取最大究竟针对谁？
2. 对真实 $Q^\pi$ 做贪心改进，需要哪些回报、状态和策略假设？写出完整推导，不能把定理名称当作解释。
3. 换成有估计误差、分布变化或未探索动作的 $\hat Q$ 后，哪一步论证失效？能否构造“两动作的预测顺序错误导致实际回报下降”的最小反例？
4. 多智能体中局部 Q 还受表示和信息限制；哪些单智能体结论不能直接移用？

后续方向

#

先读取策略改进定理的一手教材章节并记录证据位置，再用可手算的小型 MDP 对照真实价值与估计价值。形成完整解释后整合回相关笔记，再更新此问题；当前没有声称已完成该证明或实验。

关联应用：协同缓存收益复核。组织入口：Web3 与协作决策地图。