Дерево решений (decision tree) — это непараметрический алгоритм машинного обучения, который может использоваться как для классификации, так и для регрессии. Модель строится в виде древовидной структуры, где каждый внутренний узел представляет собой «тест» на определенном признаке (например, возраст > 30), каждая ветвь представляет результат теста, а каждый листовой узел (терминальный узел) представляет собой решение (метку класса или непрерывное значение).
Путь от корня до листа представляет собой правило классификации. Деревья решений строятся путем рекурсивного разделения данных на подмножества на основе признаков, которые наилучшим образом разделяют данные. Критерии разделения, такие как прирост информации (Information Gain) или индекс Джини (Gini Impurity), используются для выбора наилучшего признака на каждом шаге.
Деревья решений склонны к переобучению, но эту проблему можно решить с помощью методов обрезки (pruning) или использования ансамблевых методов, таких как случайный лес.
Пример с датасетом Титаника:
