TOBIG's [심층학습] 제5장 기계 학습의 기초

5.1 학습 알고리즘

5.1.1 과제 T

- 기계학습의 과제는 일반적으로 기계 학습 시스템이 견본을 처리하는 방식을 서술하는 현태로 정의된다. 여기서 견본이란 기계 학습 시스템의 처리 대상인 어떤 물체나 사건으로부터 정량적으로 측정한 특징(feature들의 집합)을 의미한다.

예를 들어 견본 디지털 이미지의 특징들은 이미지를 구성하는 픽셀값이다. 

 

다음은 가장 흔한 기계 학습 과제 몇 가지이다.

1. 분류

2. 결측 입력이 있는 자료의 분류

: 입력 벡터의 모든 측도가 항상 보장이 없을 때는 분류가 더 어려워진다. 따라서, 모든 관련 변수에 관한 확률분포를 학습하고, 결측값들을 주변화해서 분류 문제를 풀기도 한다. 

3. 회귀

4. 전사(옮겨쓰기)

: 해당 종류의 과제에서 기계 학습 시스템은 비교적 구조적이지 않은 형태로 표현된 어떤 자료를 입력 받아서 그 자료에 있는 정보를 이산적인 텍스트 형식으로 출력해야 한다. 예를 들어 OCR 프로그램은 텍스트 이미지가 담긴 사진을 관측해서 그 텍스트에 해당하는 문자열을 출력해야 한다. 다른 예로는 음성 인식이 존재한다.

5. 기계 번역

6. 구조적 출력

: 구조적 출력 과제는 출력이 하나의 벡터이고, 벡터의 성분들 사이에 중요한 관계가 존재하는 형태의 모든 과제를 말한다.

예로는 구문 분석이 있다.

7. 비정상 검출(이상탐지)

8. 합성과 표본추출

9. 결측값 대체

10. 잡음 제거

11. 밀도 추정(확률질량함수 추정)

 

등이 있다.

 

5.1.2 성과 측도 P

기계 학습 알고리즘의 능력을 평가하기 위해서는 그 성과를 수치로 측정한 측도를 고안할 필요가 있다.

일반적으로 그러한 성과 측도 P는 시스템이 수행하는 과제 T에 따라 다를 수 있다.

한 예로, 분류나, 결측 입력이 있는 자료의 분류, 전사 같은 과제들에서는 모형의 정확도를 성과 측도로 사용할 때가 많다

 

5.1.3 경험 E

기계 학습 알고리즘들은 학습 과정에서 허용되는 경험의 종류에 따라 크게 비지도 학습과 지도 학습으로 나뉜다. 해당 책에 나오는 대부분의 기계 학습 알고리즘은 자료 집합 전체를 경험할 수 있는 부류에 속한다. 여기서 자료 집합은 다수의 견본을 모은 것이고, 자료 집합을 구성하는 견본을 자료점이라고 부르기도 한다.

 

비지도 학습은 다수의 특징을 담은 자료 집합을 정의하고, 구조가 가진 유용한 성질들을 배운다. 심층학습의 맥락에서 학습 알고리즘의 목표는, 주어진 자료 집합을 만들어 낸 생성원에 해당하는 전체 확률분포를 명시적으로 또는 암묵적으로 학습하는 것이다.

지도 학습 역시 다수의 특징을 담은 집합을 경험하나, 이 경우는 자료 집합의 각 견본에 이름표 또는 목표가 연관되어 있다.

자료 집합이 고정되지 않은 기계 학습 알고리즘도 존재한다. 강화학습은 하나의 환경과 상호작용한다. 즉, 학습 시스템과 그 경험들 사이에는 하나의 되먹임 루프가 존재한다.

5.2 수용력, 과대적합, 과소적합

기계 학습의 주된 어려움은, 모형을 훈련하는데 사용한 입력뿐만 아니라 새로운, 이전에 본 적이 없는 입력에 대해서도 알고리즘이 잘 작동하게 만드는 것이다. 이전에 관측한 적이 없는 입력들에 대해서도 알고리즘이 잘 작동하게 만드는 것이다. 이것을 일반화 라고 말한다. 

 

5.2.1 공짜 점심 없음 정리

모든 가능한 자료 생성 분포에 대해 평균을 구한다고 할 때, 이전에 관측한 적이 없는 자료점들을 분류하는 과제에서 모든 분류 알고리즘의 오차율은 서로 같다. 다른 말로 하면, 대체로 기계 학습 알고리즘들은 다 거기서 거기인 셈이다. 우리가 상상할 수 있는 가장 복잡한 알고리즘이라도, 평균적인 성과는 그냥 모든 자료점이 같은 부류에 속한다고 예측하는 가장 단순한 알고리즘의 성과와 같다. 

-> 해당 결과들은 모든 가능한 자료 생성 분포에 대해 평균을 구할 대만 성립한다.

 

5.2.2 정칙화

우리가 흔히 아는 용어로 패널티를 부과하는 것으로 생각하면 된다. 

훈련 오차가 줄지는 않더라도 일반화 오차를 줄이려는 의도로 학습 알고리즘에 가하는 모든 종류의 수정이 정칙화에 해당한다. 

5.3 초매개변수와 검증 집합

5.3.1 교차검증

우리가 하는 가장 기본적인 검증 방법으로 k-fold validation 이 있다. 

5.4 추정량, 편향, 분산

5.4.1 점 추정

점추정은 어떤 대상 수량에 대한 '최고의' 예측 하나를 제공하는 것을 목표로 한다. 기계 학습의 맥락에서 일반적으로 '대상 수량'은 어떤 매개 변수 모형의 한 매개변수 또는 매개변수들의 벡터이다. 

함수추정은 주어진 입력 벡터 x에 기초해서 변수 y의 값을 예측하는 것이다. 함수 추정에서는 y와 x 사이의 관계를 근사적으로 서술하는 함수 f(x)가 존재한다고 가정한다.

 

5.4.2 편향

5.4.3 분산과 표준오차

5.4.4 평균제곱오차의 최소화를 위한 편향과 분산의 절충

5.4.5 일치성

5.5 최대가능도 추정

5.5.1 조건부 로그가능도와 평균제곱오차

5.5.2 최대가능도의 여러 성질

5.6 베이즈 통계학

빈도론자 통계학 <-> 베이즈 통계학

세타의 모든 값을 고려해서 예측을 수행하는 접근 방식을 말함

 

자료를 관측하기 전에 우리가 세타에 대해 알고 있는 지식을 사전확률분포로 표현한다.

자료를 관측 한 후의 사후분포는 사전분포보다 엔트로피가 낮고 매개변수의 참값일 가능성이 큰 몇몇 값들 주변으로 표본이 집중된다. 

 

5.11 심층 학습의 개발 동기가 된 기존 문제점들

5.11.1 차원의 저주

기계 학습이 풀고자 하는 문제 중에는 자료의 차원이 높을 때 , 특히나 풀기 어려워지는 문제가 많다. 그러한 현상을 우리는 차원의 저주라고 부른다.

특히, 변수의 개수가 증가함에 따라 그 변수들의 특정 값들로 이루어진 서로 다른 구성의 개수가 지수적으로 증가한다는 것이다.

 

5.11.2 국소 일치성과 평활성 정칙화

알고리즘이 잘 일반화가 되기 위해서는 알고리즘이 배워야 할 함수의 종류에 관한 사전 믿음들을 알고리즘에 제공할 필요가 있다.

.

 

5.11.3 다양체 학습

다양체란, 간단히 말해서 연결된 영역을 의미한다. 

기계 학습에서 말하는 다양체는 그냥 더 높은 차원의 공간에 내장된, 그러나 그보다 낮은 차원 또는 자유도로도 잘 근사할 수 있는 일단의 연결된 점들로 느슨하게 정의된다. 

다양체 학습 알고리즘은 대부분이 유효하지 않은 입력으로 구성되고 흥미로운 입력들은 일부 점들로 이루어진 몇몇 다양체에만 존재한다고, 그리고 학습 대상 다양체에서 다른 다양체로 이동할 때만 발생한다고 가정함으로써, 그러한 어려움을 극복한다.