Part 1. 순환신경망 기반의 시계열 데이터 회귀
- Non Sequential Data
: 순서가 없는 데이터
- Seuential Data
: 순서가 있는 데이터
1. RNN
- Why, Whh, Wxh => 파라미터로, 최적으로 찾아가야 되는 값들을 의미함
2. RNN Backpropagation
3. LSTM
- 기존 RNN의 문제점: 장기 의존성 문제(the problem of Long-Term Dependencies)
- > 장기 의존성 및 gradient vanishing 문제 해결하기 위해 나온 모델
- Step1: 지금까지의 cell state에 저장된 정보 중에서 얼마만큼을 망각할 것인지를 결정
- Step2: 새로운 정보를 얼마만큼 cell state에 저장할 것인지를 결정
- Step3: 예전 cell state를 새로운 cell state로 업데이트
- Step4: 출력 값을 결정
4. GRU
- cell state가 존재하지 않음 -> 보조 메모리 존재x
5. Attention
- 생략
Part 2. 합성곱 기반의 시계열 데이터 회귀
1. Classification (분류) : image를 보고 해당 image의 object가 무엇인지 예측하는 문제
ex) 강아지 image을 보고 강아지인지 맞추는 것
-> AlexNet / VGG / ResNet (ILSVRC challenge model)
2. Localization / Detection (발견) : image안에 object들이 어디에 있는지 찾아내는 문제
Object가 있는 곳에 bounding box를 그리는 방식으로 표시
-> R-CNN / Fast R-CNN / Faster R-CNN
3. Segmentation (분할) : Detection보다 더 detail하게 image의 pixel단위로 찾아내고 분류하는 문제
즉, image를 보고 classification이외에 추가적으로 그 장면을 완벽하게 이해해야 하는 어려운 문제
-> FCN / DeepLab (Google의 Pixel2 phone에 적용 = 사진을 찍을 때 사람을 찾아내 사람 이외의 배경은 흐리게 함)
https://technical-support.tistory.com/56
CNN을 시계열 data에 적용하는 방식
- 긴 길이의 시계열 data를 효율적으로 처리하는데 나온 conv 연산을 수행함
- layer을 늘려가면서 dilation을 크게 잡으면 최종적으로 해당하는 , standart conv보다도 훨씬 더 과거 시점까지도 동일한 모델 구조를 가지고 볼 수 있다는 장점을 지님
Part 3. 트랜스포머 기반의 시계열 데이터 회귀
- transformer
생략