Разница между MLE и MAP

MLE (Maximum Likelihood Estimation) ищет параметры θ, которые максимизируют правдоподобие данных P(D∣θ).

MAP (Maximum A Posteriori) ищет параметры, которые максимизируют апостериорную вероятность P(θ∣D), используя априорное распределение P(θ). MAP — это Байесовский подход, который включает регуляризацию.

MLE предполагает, что все параметры θ одинаково вероятны (равномерное априорное распределение), и фокусируется только на данных.

MAP включает априорное распределение P(θ), которое отражает наше предварительное знание о параметрах.

MAP основывается на Теореме Байеса: 

MAP включает априорное распределение P(θ), которое отражает наше предварительное знание о параметрах. Связь с регуляризацией:

• Если мы выберем Гауссово (нормальное) априорное распределение для весов P(θ), то максимизация MAP эквивалентна минимизации функции потерь с L2-регуляризацией (Ridge).
• Если мы выберем Распределение Лапласа для весов P(θ), то максимизация MAP эквивалентна минимизации функции потерь с L1-регуляризацией (Lasso). MAP используется, когда нужно ввести регуляризацию или когда данных мало, и априорное знание может стабилизировать оценку параметров.