Мы часто говорим о bias так, будто систематическая ошибка появляется где-то внутри статистического анализа.
Но иногда проблема возникает гораздо раньше:
Что именно мы измерили?
Представим исследование, в котором мы хотим понять, повышает ли определённое воздействие риск заболевания.
Воздействие измеряется с помощью анкеты, которую заполняют сами участники.
Исход определяется диагностическим тестом, который не обладает идеальной чувствительностью.
Обе переменные измерены не идеально.
Статистическая модель при этом может быть абсолютно корректной для тех данных, которые она получает.
Но что, если данные неточно отражают реальное воздействие и реальный исход?
Здесь становится важен measurement bias — систематическая ошибка измерения.
Ошибка измерения возникает, когда воздействие, исход, конфаундер или другая переменная измеряется неточно.
Один из важных вариантов — misclassification, когда участника относят не к той категории воздействия или исхода.
При этом последствия зависят от того, как именно возникает ошибка.
Если ошибка распределена одинаково между группами, ассоциация может ослабевать — но это не универсальное правило.
Если ошибки различаются между группами, искажение может быть гораздо сложнее и даже сместить оценку дальше от нулевого эффекта.
Возьмём recall bias.
Предположим, исследователи спрашивают участников о прошлом воздействии уже после того, как у части из них было диагностировано заболевание.
Люди с заболеванием могут вспоминать или сообщать о прошлом воздействии иначе, чем люди без заболевания.
Проблема не просто в том, что ответы «немного неточные».
Сам процесс измерения может быть связан с исходом.
Так возникает differential misclassification.
То же самое актуально для современных источников данных:
📱 носимые устройства
📝 самоотчёты о поведении
🧪 диагностические тесты
🏥 электронные медицинские записи
💊 базы данных о лекарствах
🌐 онлайн-анкеты
Больше данных не обязательно означает более качественное измерение.
Миллион наблюдений переменной, измеренной с систематической ошибкой, не превращаются автоматически в миллион точных наблюдений.
И у статистических методов есть пределы.
Можно учитывать измеренные конфаундеры.
Можно моделировать неопределённость.
Можно проводить sensitivity analyses.
Можно использовать данные валидации, если они доступны.
Но нельзя просто «отрегрессировать» информацию, которая изначально была измерена неправильно.
Поэтому качество измерения должно быть частью дизайна исследования, а не вопросом, который появляется только в разделе статистического анализа.
Прежде чем спросить:
«Какую модель мне использовать?»
стоит спросить:
«Насколько точно эта переменная отражает то, что я действительно хочу изучить?»
Потому что сложный анализ плохо измеренных переменных всё равно может дать очень точный ответ на неправильный вопрос.
А точность — не то же самое, что валидность.