Что такое ошибки I и II рода?

Ошибки I и II рода — это статистические ошибки, которые могут возникнуть при проверке гипотез. Ошибка I рода (ложноположительная) происходит, когда отвергается нулевая гипотеза, хотя она верна. Ошибка II рода (ложноотрицательная) совершается, когда нулевая гипотеза не отвергается, хотя она ложна.

При оценке эксперимента мы можем совершить ошибку одного из двух типов: ошибку первого рода или ошибку второго рода. Ошибка I рода - это сказать, что эффект есть, когда его на самом деле нет. Ошибка II рода - это сказать, что эффекта нет, когда он на самом деле есть. Ошибки I и II рода ещё называют ложноположительным и ложноотрицательным результатом соответственно.

Обе ошибки могут привести к финансовым потерям. При ошибке I рода тратятся впустую средства на внедрение изменения, которое не имеет эффекта. При ошибке II рода упускается возможность зарабатывать больше, отказываясь внедрять изменение с эффектом.

Рассмотрим пример из области тестирования гипотез. Если проверяется новая функция на сайте и делается вывод, что она улучшает показатели, хотя на самом деле это не так, это будет ошибкой I рода. В результате будут потрачены ресурсы на внедрение бесполезной функции.

И наоборот, если новая функция действительно приносит пользу, но в результате теста был сделан вывод об отсутствии эффекта, это ошибка II рода. В этом случае упускается возможность улучшить продукт и получить дополнительную выгоду. Выбор допустимых уровней этих ошибок зависит от конкретных последствий в контексте задачи.