Метод k-ближайших соседей (k-Nearest Neighbors, KNN) — это непараметрический алгоритм, используемый для классификации и регрессии. Его основная идея заключается в том, что похожие объекты находятся близко друг к другу. Для классификации новой точки данных алгоритм находит k ближайших к ней точек из обучающей выборки (соседей) и присваивает новой точке тот класс, который является наиболее распространенным среди ее соседей.
Для регрессии предсказанное значение является средним или медианным значением целевой переменной у k ближайших соседей. Расстояние между точками обычно измеряется с помощью евклидовой метрики, но могут использоваться и другие метрики.
Выбор значения k является важным гиперпараметром:
- маленькое k делает модель чувствительной к шуму
- большое k может привести к размыванию границ между классами
