3. 딥러닝 Overfitting(과적합)과 Regularization 뜻(Ridge, Lasso regression)

* Overfitting

Overfitting(과적합)은 학습 모델이 Traing data에 대하여 지나치게 과하게 학습한 것을 뜻 한다. 오른쪽의 그래프와 같이 Training data에서는 에러가 적게 발생하지만, Test data에서는 에러가 급격히 늘어난다. 반대로 너무 단순화하여 학습된 모델의 경우는 Underfitting되었다고 한다.

 

 

* Regularization

1. Lasso, 2. Ridge

Regularization을 통해 학습 Objective에 Hyperparameter λ 를 추가함으로써 Overfitting 문제를 해결할 수 있다. 이 때, regression에 적용하는 regularization은 L1, L2 두 가지가 있다. 각각 Lasso regression, Ridge regression이라고 한다.

Lasso regression

Ridge regression

Ridge regression의 경우 closed solution이 존재하지만, Lasso regression는 존재하지 않는다.

 

먼저 Ridge regression의 closed solution은 다음과 같다.

Ridge regression의 closed solution