머신러닝 (5) 썸네일형 리스트형 머신러닝 핵심 요약 5 (EVD, SVD, PCA, LDA) 사전 수학 개념들 기저? 백터공간 V에 대하여 임의의 벡터집합 S가 ① 서로 1차 독립이면서 ② 벡터공간 V를 생성하면 S는 V의 기저이다. 즉, 기저라 함은 특정 벡터 공간을 선형 생성하는 선형 독립인 벡터들로, S가 N 차원의 기저이면 N개의 벡터로 이루어져 있다. 이때 기저의 크기는 일반적으로 길이가 1인 단위벡터로 표시한다. (크기보다는 방향이 중요하기 때문이다.) 고유값, 고유벡터 행렬 A에 대해 다음 식을 만족한다고 가정하자. Ax=λx 이때, λ는 고유값으로 스칼라라고도 한다. 또한 이때 x를 고유벡터라고 한다. 위 식을 기하하적인 입장에서 보면 고유값 λ는 변화되는 크기를 의미하며, x는 변화되는 방향을 의미한다. 즉, 행렬 A에 대해 변환된 벡터 x가 λ배 만큼 확장 또는 .. 머신러닝 핵심 요약 4 (선형 분류와 회귀) 선형회귀(Linear regression) 학습과정 1. 임의의 파라미터 값을 설정해서 선형모델을 가정한다. 2. train data로 학습한다. 3. loss, cost를 사용해서 MSE를 구한다. 4. 경사하강법을 사용해서 MSE가 가장 작은 파라미터를 찾는다. (Least Squares methods; 최소 제곱법) 이미지 출처: https://vitalflux.com loss는 실제값과 예측값 차이(오차)를 제곱한 것(SE; Squared Error)이다. loss = (Y-Y')^2 이때 Y는 실제값을 의미하고, Y'는 예측값을 의미한다. cost는 오차제곱들의 평균(MSE; Mean SE)이다. $$ MSE=\frac{1}{N}\sum_{i=1}^N (Y_i-Y'.. 머신러닝 핵심 요약 3 (BAYESIAN NETWORKS) 베이즈 정리 베이즈 정리는 조건부 확률에 사전확률(prior)을 활용하여 통계적 추론을 하는 방법이다. 베이지안 분류기 베이즈 정리를 이용하여 분류에 활용한 것이다. 테스트 데이터 x가 있을 때, 이 x가 어떤 class인지 구하기 위해서는 다음과 같은 식을 이용하면 된다. P(class|x)=P(x|class)P(class)/P(x) 위 식을 각 class 별로 구하여 테스트 데이터 x가 해당 class일 확률을 계산한 후, 가장 큰 확률을 지닌 class를 택하는 것이다. 이때 분모의 P(x)는 모든 class에 대하여 전부 동일하므로, 생략할 수 있다. 만약 데이터의 feature가 2개라고 가정한다면, 실제로 각 class에 대해 비교하게 될 최종 식은 다음과 같이 정리될 수 있다. .. 머신러닝 핵심 요약 2 (DECISION TREE) 의사결정 트리(DECISION TREE)는 무언가를 결정할 수 있는 기준들을 학습하는 것이다. 이미지 출처:https://tensorflow.blog 좋은 트리의 기준 1) DECISION TREE에서 마지막 노드인 leaf node에서 동일한 레이블의 데이터만 있을 때, 분류 정확도가 높다고 할 수 있다. 2) 트리의 깊이가 짧으면 모델의 학습 속도가 빠르다고 할 수 있다. (feature선택 순서에 따라 트리의 깊이가 달라지기도 한다.) 트리 생성 전, 알아둘 것 root 노드는 모든 데이터를 고려한다. 하위 노드로 내려갈수록 점점 데이터가 분류된다. 트리생성과정 노드에 하나의 class만 있거나, 더 이상 고려할 feature가 없으면 leaf node 분류하고 자식노드를 생성하지 않는다. (fea.. 머신러닝 핵심 요약 1 (INTRODUCTION) Machine Learning 사람이 만든 기술을 구축하는 기술 이미지 출처: https://blogs.nvidia.co.kr 이제야 머신러닝/딥러닝이 뜨는 이유? 첫번째, 기계가 발전하면서 분산저장시스템이 발달 두번째, GPU를 사용하면서 대용량데이터를 처리할 기술이 생김 feature feature == attribute == 열 == 차원 (즉, feature을 늘린다 == 차원을 늘린다.) 일반적으로 label 개수 (= class 개수) < feature 개수 < Data 개수 이다. feature 선택은 매우 중요하다. feature에 대한 도메인 지식(전문지식)이 요구된다. e.g.) 일본어 문장에 대한 감정 분석시, 일본어에 대한 전문지식이 요구됨 feature에 비해 데이터가 너무 적으면.. 이전 1 다음
