Module 7. 딥러닝 (Deep Learning) (KAIST 주재걸 교수)

날짜: 2023년 7월 15일

Part 1. Introduction to Deep Neural Networks

1. Deep Learning

: 신경세포들이 망을 이루어서 정보를 교환하고 처리하는 과정을 본따서 만든 방식을 의미함

2. 심층 신경망의 기본 동작 과정

- Big Data의 필요

- GPU Acceleration

- Algorithm Improvements

 

3. Perceptron

- 퍼셉트론은 생물학적인 신경계(Neual Network)의 기본 단위인 신경세포(=뉴런)의 동작 과정을 통계학적으로 모델링한 알고리즘

4. Forward Propagation

- 행렬 곱을 통해 sigmoid function과 같은 actiavtion function을 지나면 결과 값이 나옴

 

 

5. MSE

- 에러 제곱의 평균

- 이상치에 민감

 

6. Softmax 함수

 

Part 2. Training Neural Networks

1. Gradient descent

- Neural network에서 저희가 최적화 하고자 하는 parameter이 존재

- parameter과 학습 data를 해당 parameter들로 이루어진 neural network에 입력으로 넣어 ground truth 값과 비교함으로써 차이를 최소화하도록 하는 파라미터들을 찾는 것

- loss function에 대해 각각 파라미터들에 대한 미분값을 구함 

- 미분 값을 사용해서 현재 주어진 parameter 값을 가지고 미분 방향의 마이너스 방향으로 특정 step size 혹은 learning rate를 곱해서 해당 파라미터들을 업데이트 하는 식으로 학습을 진행

- w라는 최적화하고자 하는 파라미터가 함수에 입력되고, loss가 결국 작아지는 쪽으로 이동하게 됨

- 1차원의 함수를 저렇게 등고선으로 표시하면 저렇게 표현됨

- 지그재그 현상은 일부 손실 함수에서 경사하강법이 수렴하지 않고, 파라미터 값이 매번 튕겨 나가는 현상을 말한다고.

- 세타1과, 세타2는 neural network의 가중치 값들임 

- 세타 1에 대한 함수를 그렸을 때에는, 완만하게 줄어들지만 세타2에 대한 함수를 그리게 되면 급격하게 함수가 줄어들게됨 

- 그래서 지그재그로 이동하는 것임

- 만약 지그재그 현상이 적다면, 두 개의 파라미터에 대한 함수의 기울기 변동이 상대적으로 일정하거나 부드럽게 변하는 것을 의미. 이 경우, 두 함수는 비슷한 형태를 가지며 파라미터의 변화에 따른 손실 함수 값의 변화도 비슷하게 될 수 있음

 

 

2. 역전파

- 생략

 

3. Sigmoid Activation

- sigmoid activation

: 앞쪽에 있는 파라미터들의 기울기 값이 작음으로 인해 파라미터의 업데이트가 거의 일어나지 않게 됨 -> 학습이 느려짐

 

- Tanh activation

: -1 ~ 1사이

: gradient값이 0에서 1/2까지 밖에 되지 않음 -> 결국 기울기 소실 발생

 

- ReLU activation

: max(0,x)

: 0보다 작은 경우 0으로, 0보다 큰 경우 값 그대로

 

4. Batch Normalization

batch normalization을 하는 이유

 

Batch Normalization은 딥러닝 모델에서 사용되는 기법 중 하나로, 각 미니배치 데이터의 분포를 정규화(normalize)하여 학습을 안정화시키는 역할을 합니다. 이를 통해 학습 과정을 더 빠르고 안정적으로 만들고, 모델의 일반화 능력을 향상시킬 수 있습니다.
Batch Normalization을 사용하는 주요한 이유는 다음과 같습니다:

1. 그래디언트 소실 또는 폭주 문제 완화: 딥러닝 모델에서는 여러 층을 거치면서 그래디언트 값이 지나치게 작아지거나 크게 증가하는 문제가 발생할 수 있습니다. Batch Normalization은 각 미니배치 데이터의 평균과 분산을 정규화하여 그래디언트의 크기를 조절하고, 이를 통해 그래디언트 소실과 폭주 문제를 완화할 수 있습니다.

2. 학습 속도 향상: Batch Normalization은 각 미니배치 데이터의 분포를 정규화하기 때문에 학습 과정에서 더 안정적인 그래디언트를 제공합니다. 이로 인해 학습 속도가 향상되고, 수렴하는데 걸리는 시간이 줄어들 수 있습니다.

3. 초기화에 덜 민감: Batch Normalization은 입력 데이터의 분포를 정규화하기 때문에 초기 가중치 설정에 대한 영향을 줄일 수 있습니다. 이는 모델의 학습을 안정화시키고 초기화에 대한 의존성을 감소시킵니다.

4. 일반화 능력 향상: Batch Normalization은 각 층마다 입력 데이터의 분포를 정규화하므로, 모델이 더 일반화된 결과를 얻을 수 있습니다. 이는 과적합을 방지하고, 새로운 데이터에 대한 일반화 능력을 향상시킬 수 있습니다.

Batch Normalization은 일반적으로 심층 신경망에서 사용되며, 학습 과정을 안정화시키고 모델의 성능을 향상시키는 데에 큰 도움을 줍니다.

 

 

- mini batch가 10일 경우, tanh 노드를 통과하기 직전에 입력으로 발생되는 값이 10개의 mini batch 내에 data item마다 하나씩 다 존재

- 발생되는 10개의 tanh 입력으로 주어지는 값들을 모아서 평균 분산을 구할 것임

-> 평균0, 분산1이 되도록 하는 정규화 과정을 수행하게 되면 tanh 입력으로 주어지는 대략적인 범위를 0을 중심으로 하는 분포를 만들 수 있게 됨 

- y=ax+b => 해당 data가 가지는 고유의 평균과 분산 또한 복원해낼 수 있는 능력이 부여됨 

: 열개 값의 평균값을 여기서 결정된 b라는 값으로 평균값이 바뀌게 됨 

: 분산의 경우, a제곱에 해당하는 분산값을 가지게 됨

- 이후, 식 하나를 더 생성함으로써, 최적의 평균 분산 값을 스스로 결정할 수 있도록 함

Part 3. Convolutional Neural Networksand Image Classification

- ConvNet이 나온 이후로 부터 많이 발전하게 됨

 

- 특정 class에 존재할 수 있는 작은 특정 패턴들을 정의하고, 패턴들이 주어진 이미지 상에 있는지를 판단

 

 - 각 layer에서 입력 노드가 출력 노드 모두와 특정한 가중치의 형태로 연결이 된 network를 fully-connected layer 혹은 fully connected neural network라고 부름

 

- CNN: Computer vision에서 사용 (이미지 등)

 

- RNN: 시계열 데이터에 적합한 모델

1. Basic Idea of ConvNets

- 고양이가 이런 자세를 취하고 이런 색깔을 가지고, 이런 배경이 있었을 때에 모든 요소들을 일일이 규정해서 고양이라는 특성을 정의하려고 하기 보다는 고양이에서 일관되게 나타나는 부분, 부분 별로의 특징들을 bottom up 방식으로 잘 검출해내고, 정보들을 조합해서 최종적으로 고양이다 라고 일관되게 인식할 수 있도록 하는 방식으로 Convnet이 동작함

 

2. Conv layer

- 다음 layer로 적용되는 conv filter는 여기에 주어진 입력 이미지의 채널 수와 같은 채널 수를 가져야 함

- 최종적으로 한 장의 output activation map을 얻게 됨 

 

3. Pooling

- 정해진 크기 안에서 가장 큰 값만 뽑아냄

4. ReLU

- 선형결합 한 후, activation function을 적용해줌 

-  이전 conv layer에서 나온 값에 적용하면 음수는 0, 양수는 양수 그래도 적용함

5. Various CNN Architectures

- AlexNet

- VGGNet

- GoogLeNet

- ResNet

 

Part 4. Seq2Seq with Attention for Natural Language Understanding and Generation

1. RNN

- sequence data에 유용

- hidden state를 받아서 현재 time step에 RNN module의 output인 ht 혹은 current hidden state vector을 만들어주게 됨

 

2. RNN의 다양한 형태

- one to one

- one to many: image captioning(이미지 넣으면 단어로 출력)

- many to one (문장 분류)

- many to many(기계 번역)

3. LSTM

- cell state가 새로 생김 

4. seq2seq

- Seq2Seq는 "Sequence-to-Sequence"의 약어로, 입력 시퀀스와 출력 시퀀스를 모두 처리하는 딥러닝 모델 구조.

주로 자연어 처리(Natural Language Processing)에서 사용되며, 번역, 요약, 챗봇 등 다양한 작업에 적용.

- Seq2Seq 모델은 두 개의 주요 구성 요소로 이루어져 있음.

첫 번째는 인코더(Encoder)로 입력 시퀀스를 고정된 길이의 벡터 표현으로 압축함. 이 벡터는 입력 시퀀스의 의미를 담고 있음

두 번째는 디코더(Decoder)로 인코더의 벡터 표현을 기반으로 출력 시퀀스를 생성함. 디코더는 시작 토큰을 입력으로 받아 순차적으로 다음 단어를 예측하면서 출력 시퀀스를 생성.

- Seq2Seq 모델은 입력과 출력 시퀀스의 길이가 다를 수 있으며, 입력과 출력의 시퀀스 길이에 상관없이 유연하게 작업을 수행할 수 있음. 이를 통해 번역이나 챗봇과 같은 작업에서 문장 길이의 변화에 대응할 수 있음.

 - Seq2Seq 모델은 장기 의존성 문제를 해결하기 위해 LSTM(Long Short-Term Memory)과 같은 순환 신경망(RNN) 아키텍처를 사용하는 경우가 많음. LSTM은 입력 시퀀스의 장기 의존성을 캡처하여 번역이나 다른 시퀀스 생성 작업에서 높은 성능을 보여줌.

- 요약하자면, Seq2Seq는 입력 시퀀스를 압축하는 인코더와 압축된 정보를 기반으로 출력 시퀀스를 생성하는 디코더로 구성된 딥러닝 모델 구조임.

5. Attention

- 생략 

Part 5. Transformer

- Transformer

- 생략

 

Part 6. Self-Supervised Learning andLarge-Scale Pre-Trained Models

- Bert

- GPT

-> 생략

• One-shot, Few-shot learning은 모델을 학습하는데 사용되는 데이터의 양을 나타냄 -> 이미지 인식, 자연어 처리, 게임 등의 분야에서 사용됨

 

2. One Shot

- 하나의 예시만으로으로 새로운 클래스를 인식하는 것을 의미함

ex) 원숭이의 사진을 가르쳐주면 다른 모양의 원숭이사진을 보여주어도 원숭이라고 맞출수가 있다

"The animal was a zebra. It had black and white stripes. What is the name of this animal?"라는 문장에서 "zebra"라는 단어를 모델이 한 번의 예시로 추론하는 것을 의미

 

 

3. Few Shot

- 한 클래스 당 일부 샘플 이미지만 사용해서 새로운 클래스를 인식

- 몇 개의 예시를 통해 새로운 단어를 예측하는 방법

- 모델은 이전에 본 적이 없는 단어에 대해 학습되어 있지 않지만, 제한된 수의 예시를 통해 해당 단어의 의미를 파악하고 예측할 수 있음

 

ex) 여러 종류의 개를 보여주면서 가르쳐주고, 새로운 종의 개를 보여주면 개라는 것을 맞출 수 있는 것

-> 전체 데이터 셋 학습하는 것보다는 효율적임.

 

ex) "The animal was a zebra. It had black and white stripes. It was similar to a horse. What is the name of this animal?"라는 문장에서 "zebra"라는 단어를 모델이 몇 개의 예시로 추론하는 것을 의미

 

1. Zero Shot

- 라벨링 되지 않은 새로운 클래스에 대한 분류 작업을 시행할 때, 이전에 학습된 모델을 사용해서 분류하는 기술

- 모델이 이전에 본 적이 없는 단어를 예측하는 방법을 말함.

- 이 방법은 모델이 훈련 과정에서 해당 단어에 대한 어떠한 정보도 받지 않았음에도 불구하고, 문맥과 지식을 활용하여 단어를 추론하려는 것을 의미함

 

ex) 아이에게 소와 말을 가르쳐주고, 얼룩말은 가르쳐준 동물들의 특징을 합쳐둔 것이라고 설명을 해준다. 그러면 아이는 얼룩말을 본적은 없지만 얼룩말이라고 맞출 수가 있는 것이다

 

The animal was a zebra. It had black and white stripes. It was similar to a horse. What is another animal that has spots?"라는 문장에서 "spots"라는 단어를 모델이 추론하는 것을 의미

ex) 처음 보는 단어가 나왔을 때, 이 단어의 번역 ver을 알려줌

 

https://ds-jungsoo.tistory.com/20

https://velog.io/@nomaday/n-shot-learning