[TOBIG's] 심층학습 - 제4장 수치계산

일반적으로 기계 학습 알고리즘에는 대량의 수치 계산이 필요하다.

어떤 반복적인 과정을 통해 정답의 추정값을 계속 갱신함으로써 문제를 풀지만, 유한한 메모리를 가진 디지털 컴퓨터는 실수를 정확하게 표현할 수 없기에 약간의 한계가 존재한다.

4.1 넘침과 아래넘침

-  아래넘침(underflow)

: 0에 가까운 수가 반올림 때문데 정확히 0이 되는 것을 말한다.

- 넘침(overflow)

: 크기가 큰 수가 무한대 혹은 마이너스 무한대로 근사되는 것을 말한다.

 

-> 이러한 문제를 해결하는데 쓰이는 함수가 바로 소프트맥스 함수이다. 멀티누이 분포를 따르는 확률들을 예측하는데 흔히 사용된다.

 

4.2 나쁜 조건화

- 조건화

: 입력의 작은 변화에 대해 함수가 얼마나 급하게 변하는지를 뜻하는 용어이다. 과학 계산에서는 입력에 작은 변동이 있을 때 급하게 변하는 함수가 문제가 될 수 있다. 그렇게 되면 출력의 차이가 확 커질 수 있기 대문에 유념해야 하는 문제이다.

 

4.3 기울기 벡터 기반 최적화

- 최적화

: x의 값을 바꾸어 가면서 어떤 함수 f(x)의 값을 최대화 또는 최소화 하는 것을 말한다.

하지만 일반적으로 대부분의 최적화 문제는 f(x)를 최소화 하는 것을 기준으로 설명하며, 최대화는 -f(x)를 최소화 하는 알고리즘으로 수행하면 된다.

이때, 최소화 또는 최대화할 함수를 목적함수 또는 판정기준이라고 부른다.

최소화의 경우, 비용함수 혹은 손실함수, 오차함수라고 부르기도 한다.

 

- 경사하강법

: f(x)가 가장 작은 값이 되는 점을 전역 최소점(global minimum)이라고 부르며, 전역 최소점은 하나일 수도 있고, 여러 개일 수도 있다. 추가적으로 극소점이 전역 최소점이 아닐 수도 있기 때문에, 해당 함수를 최적화 하기 위해 여러 실험들을 잘 해봐야 한다.

 

입력이 여러 개인 함수를 최적화할 때도 많은데, 최소화 라는 개념이 성립하려면, 함수의 출력은 반드시 하나의 값(스칼라) 이어야 한다.

또한, 함수의 입력이 여러 개일 때는 편미분 이라는 개념을 사용해야 한다.

 

4.4 제약 있는 최적화

함수 f(x)를 x의 모든 가능한 값에 대해 최대화 또는 최소화 하는 것이 아니라, 어떤 집합 S에 속한 x의 값들에 대해서만 f(x)를 최대화 또는 최소화하고 싶을 때도 종종 있다. 그러한 최적화를 제약 있는 최적화, 줄여서 제약 최적화 또는 구속 최적화라고 부른다. 

집합 S에 속하는 점 x들을 제약 최적화의 용어로 실현 가능 점이라고 한다.

4.5 선형 최소제곱 문제

.