* 경사 하강법 (Gradient Descent) 경사 하강법 (Gradient Descent)이란 쉽게 말하면, Training set (funtion)의 극솟점을 찾는 알고리즘이다. a는 Step size (또는 learning rate)로 수렴 속도를 결정한다. Cost function을 설정하고, 모델의 Cost function 최솟값을 찾아 그 값을 구할 때 쓰인다. w : data point J(w) : Cost function 반복 알고리즘을 통해, w를 계속 업데이트 한다. * 경사 하강법 파이썬 코드 from numpy import asarray from numpy import arange from numpy.random import rand from matplotlib import py..

* Overfitting Overfitting(과적합)은 학습 모델이 Traing data에 대하여 지나치게 과하게 학습한 것을 뜻 한다. 오른쪽의 그래프와 같이 Training data에서는 에러가 적게 발생하지만, Test data에서는 에러가 급격히 늘어난다. 반대로 너무 단순화하여 학습된 모델의 경우는 Underfitting되었다고 한다. * Regularization Regularization을 통해 학습 Objective에 Hyperparameter λ 를 추가함으로써 Overfitting 문제를 해결할 수 있다. 이 때, regression에 적용하는 regularization은 L1, L2 두 가지가 있다. 각각 Lasso regression, Ridge regression이라고 한다. R..

* 파이썬 백슬래시( \ ), 따옴표(", ') 출력: 백준 10171번 고양이 문제 print("\\") // 백슬래시 출력 print("\'") // 작은 따옴표 출력 print("\"") // 큰 따옴표 출력 백슬래시, 작은 따옴표, 큰 따옴표의 특수문자는 출력시 \를 붙혀줘야 한다. 나머지 ( ) _ / 의 특수 문자는 그대로 쓰면 된다. 정답 print("\\ /\\") print(" ) ( \')") print("( / )") print(" \\(__)|")

* 지도 학습(Supervised learning) - 지도 학습이란 Traing Data로 부터 특정한 함수를 유추해 내는 것. Classificaation, Regression의 예시가 있다. - Classification : data label을 분류하고 예측하는 모델 - Regression : 연속형 변수들에 대해 변수들 사이의 관계를 분석하는 모델 * 비지도 학습(Unsupervised learning) - 비지도 학습이란 Data가 어떻게 구성되었는지 알아내는 것. Clustering의 예시가 있다. * Datasets: Traing data, Validation data, Test data - Traing data : 학습을 시킬 때 사용하는 데이터 셋, Fit the parameters. ..

1. 주성분 분석(PCA; Principal component analysis)는 고차원의 데이터를 저차원의 데이터로 환원시키는 기법을 뜻한다. => 차원 축소(Diensionality Reduction) 이 때, 차원 축소를 위해 직교 변환(orthogonal projection)을 이용한다. Projection의 규칙은 Maximum variance이다. 2. Maximum Variance Formulation 이 때, Variance of the projected data는 다음과 같다. (m < d) 의 조건은 그냥 '크기' 때문이다.(조건) 보라색 밑줄 친 부분이 Covariance matirx of data(= S) 이다. 라그랑즈 승수법(Lagrange multiplier method)를 이..