反复依据同一评分集选模型，为什么仍可能过拟合？

判断归属：AI 候选。 自适应数据分析的研究问题与 Thresholdout 机制来自 Dwork 等 2015；以下独立坐标反例、统一界推导与系统审查建议为 AI 推理，尚未获用户确认。

Question

#

记录真实、评分执行正确、各节点接受同一模型，仍不能单独保证模型在新数据上有效。原因在于测试集既可用于测量，也可能通过模型选择成为训练信息的一部分。这里先区分预先固定模型族中的挑优，与依据历史反馈生成新模型；它们不能用同一条未经修正的置信区间处理。

Honest-selection-example

#

设一条记录为 $(X,Y)$，其中 $X=(X_1,\ldots,X_{1024})$ 的各坐标及标签 $Y$ 全部相互独立，均为参数 $1/2$ 的 Bernoulli 随机变量。预先固定模型 $h_j(X)=X_j$，故各模型的总体准确率都是 $1/2$。另取十条独立同分布的留出记录，诚实计算每个模型的准确率，再选择最高者；无需修改数据、伪造分数或生成新模型。

每个模型十条全对的概率为 $2^{-10}$。给定十个标签，各模型的正确性由互相独立的输入坐标决定，且全对概率不依赖标签，因而这些全对事件也无条件独立。因此

$\Pr(\max_j\widehat A_j=1)=1-(1-2^{-10})^{1024}\approx0.63230026.$

这里 $\widehat A_j$ 是模型 $j$ 的留出准确率。约 63.23% 的概率能选出留出准确率 100% 的模型，而被选中的任一固定坐标在新独立记录上仍只有 50% 准确率。这是特定联合分布下的选择偏差反例，不是现实缓存轨迹或某份协议发生攻击的证据。

Fixed-family-bound

#

预先独立于留出集固定 $M$ 个评分函数，每个单样本分数在 $[0,1]$；留出集含 $n$ 条独立同分布记录。记总体均值为 $\mu_j$、样本均值为 $\widehat\mu_j$。对各模型应用有界均值的双侧 Hoeffding 界，再用并集界，得到 AI 推导

$\Pr(\max_{1\le j\le M}|\widehat\mu_j-\mu_j|\ge\tau)\le2M\exp(-2n\tau^2).$

此处不需要不同模型的分数相互独立。取允许失败概率 $0<\delta<1$，令

$\tau=\sqrt{\ln(2M/\delta)/(2n)}.$

则以至少 $1-\delta$ 的置信水平，整族均值误差同时不超过该界，因而从这族中挑优也被覆盖。假设 $n=1000$、$M=1024$、$\delta=0.05$，有 $\tau\approx0.072871$，即约 7.29 个百分点。这是保守统一界，不是所选模型的精确置信区间，也不证明这组模型适合任何真实任务。

Adaptive-reuse

#

若模型本身由留出反馈生成，所得函数不再独立于这批留出数据。此时不能仅把实际提交次数代入上式的 $M$；必须有预先受控的函数族，或另证适应性带来的信息暴露可控。这并不意味着一切数据复用均无效。

Dwork 等会议论文 §3 提出 Thresholdout：分别保留训练集和留出集，通过带噪阈值检查两者均值差；差异未超阈值时返回训练均值，超出时返回带噪留出均值并消耗预算，预算耗尽便停止。保证依赖有界查询、抽样、噪声、阈值及访问预算等条件。不能从“加一点噪声”推出任意重复评分都安全；本库没有实现该算法，也未复核长版全部证明。

System-boundary

#

学习共识解决更新身份、一致输入与投票证据；本页补上独立的统计义务：评分数据何时取得、由谁看见、反馈几次、候选怎样生成、何时冻结，以及最终评价是否独立。签名和一致执行可以证明记录来源或规则执行，却不自动证明这些统计条件。

这只是对 评价与保证问题第三项的候选推进。本轮没有审计 TDC-Cache/rPoA 的代码、评分集或数据暴露时序，不能据此认定它们泄漏、操纵或共识不安全；也不能假设有时间相关性的缓存请求满足这里的独立同分布条件。

Links

#

• 概率地图将本页作为评价数据与选择规则的独立分支；需要基本概率、均值和独立性，不以前缀缓存为前置。

• Web3 地图在学习更新协议之外引入统计有效性；两类保证彼此不能替代。

• 下一步核验实际评分数据的取得、轮换、暴露及候选生成时序；理论反例不代替系统实证。

• 方法特例：修复感知深度剪枝即使穷尽有限删除空间，校准最优也不必为独立test最优；它支持区分搜索遗漏与评分抽样误差，本轮不据此认定该论文发生泄漏。