[밑바닥부터 시작하는 딥러닝 2] chap4(word2vec 속도 개선)

 

1. Embedding 계층

2. negative sampling 손실함수 도입

기존 word2vec의 문제점

• 어휘가 100만개로 늘어나게 될 경우,

• [1] 입력층의 원핫 표현과 가중치 행렬 W_in 의 곱 계산 : 4.1 임베딩 계층 구현으로 해결

• [2] 은닉층과 가중치 행렬 W_out의 곱 및 Softmax 계층의 계산 : 4.2 네거티브 샘플링으로 해결

1. Embedding 계층

• matmul 계층을 보면, 해당 원핫벡터에 맞는 벡터를 뽑아내는 것과 같음 → 따라서 특정 행만 추출하자의 의미로 embedding 계층을 활용.

• forward의 경우, index만 넘겨 은닉층(h)를 얻는다

• backward 때는 dW 업데이트 해야할 index가 겹치는 경우가 있을 수 있으므로 ‘할당’이 아닌 ‘더하기’를 해야 한다.

• 중복되는 단어의 경우(더해줌으로써) 더 중요하다! 는 것을 파악할 수 있다. (강조의 의미로)

ex) idx= 0 2 0 4인 경우

 

2. ( 다중분류 → 이진분류로)

• 기존 CBOW의 문제점

1. 은닉층 뉴런의 가중치 행렬(Wout)의 곱

2. softmax 계층의 계산

⇒ 다중분류를 이진분류로 근사하는 방법

ex) 맥락이 you와 goodbye일 때 타깃은 say입니까?

• 즉, 타깃 단어에 해당하는 index만 확률로 구하는 것이 목표임.

• say에 해당하는 단어 벡터만 추출.

• 은닉층 x 해당 단어 벡터의 곱 → 나온 값이 최종 점수.

시그모이드 / 교차 엔트로피 오차 활용

• 이진 분류이기에 시그모이드로 변경

• 전체 그림

3. negative sampling

• 이진분류만으로는 문제가 해결되지 않음

• 긍정적인 예에 대해서만 학습했음

• say만을 대상으로 이진 분류.

• 부정적(say) 제외한 단어에 대해서는 sigmoid 출력을 0에 가깝도록 만듬.

3-1) 네거티브 샘플링의 샘플링 기법

• 말뭉치의 통계 데이터를 기초로 샘플링

• 자주 등장하는 단어는 많이 추출, 적게 등장하는 단어는 적게 추출

• 이때 희소 단어만을 추출하면 안되는 이유:

실전에서도 희소단어는 많이 출현하지 않음

드문 단어를 잘 처리하는 일의 경우 중요도가 낮음

• 따라서 흔한 단어를 잘 처리하는 것이 좋은 결과로 이어짐.

• 이때, 출현 빈도가 낮은 단어의 선택을 높여주기 위해 확률 분포에서 구한 값들 0.75 제곱하고 해당 확률 값을 다시 구한다. → 출현 확률이 낮은 단어를 버리지 않기 위해.

정리

• Embedding 계층은 단어의 분산 표현을 담고 있다

• word2vec의 개선을 위해 다음 2가지 작업을 수행했다.
  • Embedding 계층에서 특정 단어의 index만 뽑아 계산하도록
  • Negative sampling을 통해 다중 분류를 이진 분류로, 몇 가지의 단어들의 확률값과 Loss를 계산하도록
  • wod2vec의 Embedding, 분산 표현에는 단어의 의미가 들어가 있고 비슷한 맥락에서 사용되는 단어는 Embedding 공간에서 서로 가까이 위치한다.

• word2vec의 Embedding, 분산 표현을 이용하면 유추 문제를 벡터의 덧셈과 뺄셈 문제로 풀 수 있다.

• 전이 학습 측면에서 특히 중요하며, 단어의 분산 표현은 다양한 자연어 처리 작업에 이용할 수 있다.