假设一项研究想了解一种新的暴露因素是否与某种疾病有关。 研究人员有： 8 个暴露变量； 6 个健康结局； 5 个预先确定的亚组。 他们针对这些变量的不同组合进行统计检验。 很快，潜在的比较就可能达到几十甚至几百个。 最终，其中一个关联得到 p = 0.03。 这是否意味着发现了真实的效应？ 答案部分取决于：在这个 p-value 出现之前，研究人员进行了多少次检验。 传统的 p < 0.05 阈值是在特定的统计检验框架下解释的。当研究人员检验大量假设时，仅仅因为随机波动而得到至少一个“统计显著”结果的概率会增加。 例如，如果对 20 个相互独立的零假设进行检验，并且 α = 0.05，那么至少得到一个统计显著结果的概率为： 1 − (0.95)²⁰ ≈ 64% 这是一个简化的例子，因为真实研究中的不同检验往往并不相互独立。但它可以帮助说明多重检验的基本问题。 问题并不是研究人员进行了多个分析。 在很多研究中，多重分析本身是必要的。 真正需要关注的是：这些分析是如何计划、选择和报告的。 假设一篇论文写道： “暴露 X 与结局 Y 存在统计显著的关联（p = 0.03）。” 如果 X 和 Y 是在分析之前就确定的主要暴露和主要结局，那么这个结果具有一种解释背景。 但如果研究人员测试了 8 个暴露因素、6 个结局和多个亚组，最后只报告 p = 0.03 的那一组结果，那么同一个数字所处的背景就完全不同了。 因此，研究人员需要区分 验证性分析（confirmatory analysis） 和 探索性分析（exploratory analysis）。 预先确定研究假设和分析计划，有助于读者理解哪些问题是在查看结果之前提出的。 如果研究本身包含大量假设，根据具体研究目的，也可以采用控制 family-wise error rate 或 false discovery rate 的方法。 但统计校正不能替代透明报告。 读者应该能够了解： 一共检验了多少个假设； 哪些分析是预先确定的； 哪些属于探索性分析； 是否考虑了多重比较； 最终报告的结果是如何选择的。 对于研究者和读者而言，这里有一个很实际的问题。 p-value 并不是孤立存在的。 它的解释取决于产生这个 p-value 的整个分析过程。 所以有时候更值得问的不是： “p < 0.05 吗？” 而是： “这项研究有多少次机会得到 p < 0.05？”