Пороговый уровень значимости α устанавливается исследователем и определяет допустимый риск ошибки первого рода.
При α = 0,05 вероятность того, что верная нулевая гипотеза (Н0) будет ошибочно опровергнута, составляет 5%.

Однако всегда ли происходит именно так?

Большинство исследований имеют фиксированную продолжительность. Выводы в них делают на основании результатов финального статистического анализа, а промежуточный анализ отсутствует или проводится только для получения дополнительной информации. В таких ситуациях вышеописанное является верным.

Например, в исследовании оценивается эффективность нового препарата по сравнению с предшественником.
Допустим, в действительности верна Н0 об отсутствии его преимуществ.
При фиксированной продолжительности исследования выводы об эффективности будут сделаны только в конце.
Если α = 0,05, вероятность ошибочно посчитать новый препарат более хорошим составляет 5%.

Однако некоторые исследования предполагают изменения по результатам промежуточного анализа.
Такой дизайн называют адаптивным.

К нему нередко прибегают в клинических испытаниях препаратов для сокращения временных и материальных затрат.
В рамках исследований с адаптивным дизайном проводится один или несколько промежуточных этапов анализа.
Если его (их) результаты подтверждают ожидания (например, демонстрируют эффективность препарата), эксперимент останавливают досрочно.

Адаптивный дизайн способен значительно сэкономить ресурсы на проведение исследования.
Тем не менее, при этом возрастает риск ошибки первого рода.

Вернемся к вышеописанной ситуации, в которой исследователи надеются на бо́льшую эффективность нового препарата по сравнению с предшественником, но в действительности верна Н0 об отсутствии его преимуществ.
В ходе промежуточного анализа вероятность ошибочно оценить новый препарат как более эффективный составит те же 5%.
Исследование при этом обычно прекращают, поскольку получены желаемые результаты.

С 95% вероятностью препарат не покажет преимуществ во время промежуточного анализа, и исследование продолжится.
В таком случае ему предстоит пройти финальную проверку, в ходе которой вероятность неправильной оценки составит 4,75%.

Если исследование продлилось до запланированного конца и продемонстрировало эффективность препарата, суммарная вероятность ошибочного заключения при верной Н0 составляет 9,75%.

Вышеописанная ситуация представляет собой частный случай проблемы множественных сравнений.
Её наличие обуславливает необходимость особого подхода к исследованиям, которые могут быть завершены досрочно по итогам промежуточного анализа.

Для того, чтобы регуляторные органы признали результаты клинического испытания, вероятность ложноположительного заключения для ВСЕГО исследования должна оставаться на уровне 5%.
При наличии промежуточных оценок эти 5% распределяются между ними и финальным анализом.
Это называется альфа-расходованием.

Увеличение размера выборки позволяет контролировать альфа-расходование на промежуточный анализ и поддерживать вероятность ложноположительного заключения для всего исследования на уровне 5%.