기계 학습 : machine learning
경험을 통해 자동으로 개선하는 컴퓨터 알고리즘의 연구 분야 ( 인공지능의 한 분야)
기계 학습의 종류
- Supervised Learning : 지도 학습
데이터에 정답이 존재 ▶️ 정답 예측 모델 제작 - Unsupervised Learning : 비지도 학습
데이터에 정답이 없음 ▶️ 모델이 알아서 분류 - Reinforcement Learning : 강화 학습
어떤 환경 안에서 선택 가능한 행동들 중 보상을 최대화하는 행동 혹은 행동 순서를 선택
딥 러닝 (심층 학습) : Deep Learning
기계 학습 분야 중 하나.
주요 딥 러닝 알고리즘
심층 신경망 : Deep Neural Network, DNN
- DNN = 입력층(input layer) + 여러 개의 은닉층(hidden layer) + 출력층(output layer)
*ANN 기법에서 은닉층을 많이 늘려서 학습의 결과를 향상시키는 방법 == DNN1
즉, ANN에서 은닉층의 수가 증가한 것이 DNN - 일반적인 인공신경망처럼 비선형 관계(활성함수)들을 모델링할 수 있음
- 활성함수 ▶️ 비선형 + 복잡한 예측
- ex) Sigmoid, Hyperbolic Tan, Rectified Linear Units
- 활성함수 ❌ ▶️ 선형 + 단순 예측
- 활성함수 ▶️ 비선형 + 복잡한 예측
- 과적합에 취약
합성곱 신경망 : Convolutional Neural Network, CNN
- 최소한의 전처리를 사용하도록 설계된 다계층 퍼셉트론의 한 종류.
- 최소 하나 이상의 합성곱 계층 + 일반적인 인공 신경망 계층들
- 합성곱 계층(Convolution Layer)과 통합 계층(Pooling Layer)을 추가로 활용 ▶️ 2차원 구조의 입력 데이터를 활용 가능
- 기존 : 데이터 ▶️ 지식 추출 ▶️ 학습
CNN : 데이터 ▶️ 특징 추출 ▶️ 패턴 파악
순환 신경망 : Recurrent Neural Network, RNN
- 인공신경망의 유닛 사이를 Directed Cycle로 구성하는 신경망
- 신경망 내부의 메모리 활용 ▶️ 임의의 입력에 대해 처리 가능
경사하강법
딥 러닝 = Loss를 최소화하는 은닉층들의 가중치(w)를 찾는 것...
이때, 사용하는 기법이 경사하강법
위와 같이 Weight-Loss 그래프에서 경사를 따라가며, 손실이 되는 지정을 찾는 기법.
이때, 그래프의 기울기가 0인 지점에서, 해당 부분을 최저 Loss 구간으로 인식될 수 있음.
⏩ Learning Rate 상수를 설정해 ▶️ 연속 하강 ❌ / 디지털 하강 ⭕
⏩ Learning Rate Optimizer : Learning Rate 설정 자동화2
- Momentum
하강 가속도를 유지... - AdaGrad
자주 변하는 w는 작게, 자주 변하는 w는 크게... - RMSProp
AdaGrad^2 - AdaDelta
AdaGrad에서 의미없을 정도로 작아지는 때를 방지 - Adam
RMSProp + Momentum
참고 :
https://ebbnflow.tistory.com/119
https://www.youtube.com/watch?v=U57LVkQVf4o&list=PLfLgtT94nNq1DrREU_qG2w4yd2ZzJb-FG&index=2
https://ko.wikipedia.org/wiki/%EA%B8%B0%EA%B3%84_%ED%95%99%EC%8A%B5
- https://ebbnflow.tistory.com/119 [본문으로]
- https://www.youtube.com/watch?v=c7NURwHmM5k&list=PLfLgtT94nNq1DrREU_qG2w4yd2ZzJb-FG&index=6 [본문으로]