* 경사 하강법 (Gradient Descent) 경사 하강법 (Gradient Descent)이란 쉽게 말하면, Training set (funtion)의 극솟점을 찾는 알고리즘이다. a는 Step size (또는 learning rate)로 수렴 속도를 결정한다. Cost function을 설정하고, 모델의 Cost function 최솟값을 찾아 그 값을 구할 때 쓰인다. w : data point J(w) : Cost function 반복 알고리즘을 통해, w를 계속 업데이트 한다. * 경사 하강법 파이썬 코드 from numpy import asarray from numpy import arange from numpy.random import rand from matplotlib import py..

* Overfitting Overfitting(과적합)은 학습 모델이 Traing data에 대하여 지나치게 과하게 학습한 것을 뜻 한다. 오른쪽의 그래프와 같이 Training data에서는 에러가 적게 발생하지만, Test data에서는 에러가 급격히 늘어난다. 반대로 너무 단순화하여 학습된 모델의 경우는 Underfitting되었다고 한다. * Regularization Regularization을 통해 학습 Objective에 Hyperparameter λ 를 추가함으로써 Overfitting 문제를 해결할 수 있다. 이 때, regression에 적용하는 regularization은 L1, L2 두 가지가 있다. 각각 Lasso regression, Ridge regression이라고 한다. R..

* 지도 학습(Supervised learning) - 지도 학습이란 Traing Data로 부터 특정한 함수를 유추해 내는 것. Classificaation, Regression의 예시가 있다. - Classification : data label을 분류하고 예측하는 모델 - Regression : 연속형 변수들에 대해 변수들 사이의 관계를 분석하는 모델 * 비지도 학습(Unsupervised learning) - 비지도 학습이란 Data가 어떻게 구성되었는지 알아내는 것. Clustering의 예시가 있다. * Datasets: Traing data, Validation data, Test data - Traing data : 학습을 시킬 때 사용하는 데이터 셋, Fit the parameters. ..