Представим исследование, в котором изучается связь нового воздействия с заболеванием. Исследователи имеют: 8 переменных воздействия; 6 показателей здоровья; 5 заранее определённых подгрупп. Они проводят статистические тесты для разных комбинаций. Очень быстро количество возможных сравнений становится десятками или даже сотнями. В какой-то момент одна из ассоциаций даёт p = 0,03. Можно ли считать это доказательством реального эффекта? Ответ частично зависит от того, что происходило до появления этого p-value. Традиционный порог p < 0,05 интерпретируется в рамках конкретной статистической процедуры. Если проверяется большое количество гипотез, вероятность получить хотя бы один статистически значимый результат случайно возрастает. Например, если проверить 20 независимых нулевых гипотез при α = 0,05, вероятность получить хотя бы один статистически значимый результат только за счёт случайности составляет: 1 − (0,95)²⁰ ≈ 64% Это упрощённый пример: в реальных исследованиях результаты тестов часто коррелируют между собой. Но он хорошо показывает основную проблему. Проблема не в самом факте проведения нескольких анализов. Множественные анализы часто необходимы. Вопрос в том, как они были запланированы, отобраны и представлены. Представим, что в статье написано: «Воздействие X статистически значимо связано с исходом Y (p = 0,03)». Если X и Y были основным воздействием и исходом, определёнными до анализа, у этого результата один контекст. Если исследователи проверили 8 воздействий, 6 исходов и несколько подгрупп, а затем сообщили только о комбинации с p = 0,03, контекст уже совершенно другой. Поэтому важно различать confirmatory и exploratory analyses. Предварительная фиксация гипотез и аналитического плана помогает понять, какие вопросы были определены до анализа данных. Когда исследование изначально включает множество гипотез, в зависимости от задачи могут применяться методы контроля family-wise error rate или false discovery rate. Но статистическая коррекция не заменяет прозрачную отчётность. Читатель должен иметь возможность понять: сколько гипотез проверялось; какие анализы были определены заранее; какие появились как exploratory analyses; учитывались ли множественные сравнения; как были отобраны результаты, представленные в статье. Здесь есть практический вывод и для авторов, и для читателей. p-value не существует в вакууме. Его интерпретация зависит от анализа, в результате которого он появился. Иногда полезнее спросить не: «p < 0,05?» а: «Сколько возможностей получить p < 0,05 было у этого исследования?»