* Overfitting Overfitting(과적합)은 학습 모델이 Traing data에 대하여 지나치게 과하게 학습한 것을 뜻 한다. 오른쪽의 그래프와 같이 Training data에서는 에러가 적게 발생하지만, Test data에서는 에러가 급격히 늘어난다. 반대로 너무 단순화하여 학습된 모델의 경우는 Underfitting되었다고 한다. * Regularization Regularization을 통해 학습 Objective에 Hyperparameter λ 를 추가함으로써 Overfitting 문제를 해결할 수 있다. 이 때, regression에 적용하는 regularization은 L1, L2 두 가지가 있다. 각각 Lasso regression, Ridge regression이라고 한다. R..

* 파이썬 백슬래시( \ ), 따옴표(", ') 출력: 백준 10171번 고양이 문제 print("\\") // 백슬래시 출력 print("\'") // 작은 따옴표 출력 print("\"") // 큰 따옴표 출력 백슬래시, 작은 따옴표, 큰 따옴표의 특수문자는 출력시 \를 붙혀줘야 한다. 나머지 ( ) _ / 의 특수 문자는 그대로 쓰면 된다. 정답 print("\\ /\\") print(" ) ( \')") print("( / )") print(" \\(__)|")

* 지도 학습(Supervised learning) - 지도 학습이란 Traing Data로 부터 특정한 함수를 유추해 내는 것. Classificaation, Regression의 예시가 있다. - Classification : data label을 분류하고 예측하는 모델 - Regression : 연속형 변수들에 대해 변수들 사이의 관계를 분석하는 모델 * 비지도 학습(Unsupervised learning) - 비지도 학습이란 Data가 어떻게 구성되었는지 알아내는 것. Clustering의 예시가 있다. * Datasets: Traing data, Validation data, Test data - Traing data : 학습을 시킬 때 사용하는 데이터 셋, Fit the parameters. ..

1. 주성분 분석(PCA; Principal component analysis)는 고차원의 데이터를 저차원의 데이터로 환원시키는 기법을 뜻한다. => 차원 축소(Diensionality Reduction) 이 때, 차원 축소를 위해 직교 변환(orthogonal projection)을 이용한다. Projection의 규칙은 Maximum variance이다. 2. Maximum Variance Formulation 이 때, Variance of the projected data는 다음과 같다. (m < d) 의 조건은 그냥 '크기' 때문이다.(조건) 보라색 밑줄 친 부분이 Covariance matirx of data(= S) 이다. 라그랑즈 승수법(Lagrange multiplier method)를 이..