Выбросы и как с ними бороться

Выбросы (outliers) — это точки данных, которые значительно отличаются от других наблюдений. Их можно обнаружить с помощью визуализации (ящичковые диаграммы) или статистических методов (z-оценка, межквартильный размах).

Бороться с ними можно путем удаления, замены (например, на медиану) или использования моделей, устойчивых к выбросам.

Основные способы обнаружение выбросов:

Визуализация: ящичковые диаграммы (box plots), диаграммы рассеяния (scatter plots).

Статистические методы:

• Z-оценка: Точки с z-оценкой > 3 или < -3 считаются выбросами.

• Межквартильный размах (IQR): Точки, выходящие за пределы [Q1 - 1.5*IQR, Q3 + 1.5*IQR], считаются выбросами.

Алгоритмы обнаружения аномалий:

• Isolation Forest:  Алгоритм машинного обучения без учителя (unsupervised) для обнаружения аномалий, который выделяет аномальные точки данных, изолируя их с помощью случайных разбиений в ансамбле деревьев решений. Его ключевая идея в том, что аномалии легче изолировать от нормальных данных, чем сами нормальные точки, требуя для этого меньшего количества шагов (глубины дерева).
• Local Outlier Factor (LOF): Алгоритм машинного обучения без учителя, который выявляет аномалии (выбросы) в данных, сравнивая локальную плотность точки с плотностями ее соседей, а не с плотностью всего набора данных. Точки, которые имеют значительно меньшую плотность, чем их соседи, считаются выбросам.