[Standford_cs231n] Lecture 2 ) Image Classification

 

 

0. Image Classification

• Semantic gap: 이미지가 고양이라는 사실과, 실제 컴퓨터가 보는 저 숫자값에는 큰 격차가 존재 ⇒ 이를 시멘틱 갭이라고 칭함.

• 찍는 구도나 조명, 자세 변화, 사물에 가려지는 등 이러한 변화에 따라 픽셀값들은 변하게 되는데, 그럼에도 컴퓨터는 ‘고양이’라고 인식 할 수 있어야함.

• 그래서 이미지에서 edges을 추출하고, 귀모양이나 코모양 같은 고양이에게 필요한 집합들을 하나씩 찾아서 이러한 집합들이 다 있으면 고양이다 라고 인식하게 함.⇒ 하지만 비효율적, 잘 작동하지 않음
• ⇒ 다른 객체(강아지나 집)들을 인식하기 위해서는 그 클래스에 맞는 집합을 또 하나씩 다 만들어줘야 하는 문제 발생.

↔ 이래서 나온 방법이 데이터 중심 접근 방법(Data-Driven Approach)

• 한 객체에 필요한 집합들(규칙)을 만들지 않음

• 수많은 고양이 사진들을 컴퓨터에게 주고 machine learning classifier을 학습시킴.

1. K-Nearest Neighbor (KNN)

• Data Driven Approach 에서 머신러닝 분류 알고리즘을 사용함.

• 그 중 하나가 K-Nearest Neighbor Algorithm

• K-Nearest Neighbor Algorithm은 분류 알고리즘으로써, 새로운 데이터가 들어왔을 때 어떠한 기준으로 분류를 할 것인가를 정해주는 알고리즘.

• KNN 과정

  

  • Train: 그냥 학습 데이터를 암기시킴

  • Predict: 새 이미지들을 받아 학습 데이터 중 가장 비슷한 것을 찾아 그 이미지의 레이블로 예측.

• Parameter 1) K값

  • K-NN 은 Distance metric 을 이용해서 K개의 가까운 이웃(데이터)를 찾고, 이웃끼리 투표를 하여 새로운 데이터에 대한 분류를 하는 방법.

  • K값에 의해 Overfitting (과적합) 방지.

  • 또한 K 값을 조절하면서, 경계선을 부드럽게 만들거나 영역을 정확하게 나눌 수 있음.

  • K 값을 늘려 더 많은 이웃이 투표에 참여하면 각종 노이즈들에 대해 조금 더 robost 해질 것(더 둔감해짐)

  

  • 가까운 이웃 K개를 찾고, 투표를 통해 가장 많은 레이블로 예측함.

  • K가 증가함에 따라 경계가 부드러워짐.

• Parameter 2) Distance Metric(거리척도)

  • Distance Metric 는 데이터 간의 거리를 잴 때 사용하는 기준

  • 즉, 새로운 이미지를 분류(예측) 할 때, 학습한 이미지 중 어떤 이미지와 비슷한지 비교하는 척도.

    

    • 왼쪽 이미지: 우리가 궁금한 테스트 이미지
    • 오른쪽 이미지들: 학습 이미지(테스트 이미지와 유사한 순서로 정렬)
    ⇒ 그렇다면 어떻게 유사함을 판단해서 정렬을 했을까?
    • Distance Metric - L1 / L2 distance

      1. L1 distance

      

      • 각 픽셀값을 비교하고, 그 차이의 절댓값을 모두 합하여 하나의 지표로 설정함.

      • 위의 예제는 두 이미지간에 456만큼 차이가 나는 것을 계산할 수 있음.

      2. L2 distance

      

      • L2 distance 는 학습된 이미지와 테스트 이미지의 픽셀 간의 차이의 제곱 합의 제곱근을 거리로 이용하는 방법.

        

      • L1 distance 는 좌표축에 따라 거리가 달라지기 때문에 특정 벡터가 개별적인 의미 (ex. 키, 몸무게) 를 가지고 있을때 사용함.

      • 일반적인 벡터 요소들의 의미를 모르거나 의미가 별로 없을 때는 L2 distance를 사용함.

      

1.2) + Hyper parameter

• 위와 같이 K값 Distance Metric 과 같은 파라미터들을 Hyper Parameter 이라고 함.

• 하이퍼 파라미터를 어떤 기준으로 정해야 하는가?

1. 머신러닝 task 는 training data 를 잘 분류(예측)하는 것이 아니라 새로운 unseen data 에 대해 잘 분류해야 의미가 있음.

2. 전체 데이터셋을 train data 와 test data 로 나누어 train data로 학습을 시킨 뒤, test data 에서 가장 성능이 높게 나오는 hyperparameter 를 사용.

⇒ 하지만 test data set으로만 성능을 매긴 것이 unseen data를 대표하지는 못함.

3. trainning set, validation set, test set 으로 나누는 방법

trainning set, validation set을 통해 hyperparmeter 에 대해 실험해보고 마지막으로 새로운 데이터인 test set을 통해 평가하는 방법.

4. cross validation

마지막에 딱 한번 사용할 테스트 데이터는 빼놓음.

나머지 데이터들을 여러 부분으로 나누어줌.

초록색 데이터로 하이퍼 파라미터를 학습시키고, 노란색에서 이를 평가 후 최적의 하이퍼파라미터를 결정

• K-NN 의 K 값을 5-fold cross-validation 을 통해 나타내면 아래의 그래프와 같이 나타낼 수 있고, 아래의 그래프의 경우에는 k 가 약 7일때 최적의 hyperparameter 가 됨.

1.3) KNN의 한계

• 이미지 분류에 잘 쓰이지 않음.

• 1. test 하는데 시간이 오래 걸림

• 2. Distance Metric은 픽셀 단위에서 유용한 정보가 아님

  

  • 3개의 왜곡된 이미지가 존재

  • 입을 막은 이미지, 몇 픽셀을 아래로 내린 이미지, 파란색 색조를 띄도록 만든 이미지

  • 원본과 박스를 그린 이미지의 유클리드 거리를 계산해 보면, 원본과 이동한 것, 원본과 색조가 변한 것, 이 모든 것은 같은 L2 거리를 가짐.

  • 이러한 이유로 이미지 간의 이런 인식적 차이를 잡아내는데 L2 거리는 좋은 결과를 내지 못함.

• 3. 차원의 저주

  

  • 학습 데이터 주변으로 페인트를 떨어뜨려서 공간 분리하는데 사용

  • 즉, Knn이 잘 동작하려면 전체 공간을 조밀하게 커버할 만큼의 충분한 트레이닝 샘플이 필요함.

  • 그렇지 않으면 최근접 이웃이 꽤 멀게 되고, 테스팅 포인트와 유사하지 않을 수도.

  • 고차원의 이미지의 경우 모든 공간을 커버할 만큼의 데이터(훈련 데이터)를 모으는 일은 현실적으로 불가능함.

2. Linear Classification

• NN(Neural Network)과 CNN의 기반이 되는 알고리즘

• 커다란 레고 모형을 Neural Network라고 할 때, 레고 하나하나의 역할을 하는 것이 Linear classifier.

• 따라서 Linear classifier을 정확히 이해하는 것이 중요함.

• input : 32*32*3, 10개 카테고리 중 하나 분류

• W(가중치): train data에 대한 요약된 정보가 들어있음

• 딥러닝은 f(x,W)로 된 가설 함수를 적절하게 설계하는 일.⇒ 입력 데이터와 W를 조합해 관계식을 만듬 ⇒ linear classification (f=wx)

• B는 bias로 데이터와 무관하게 특정 클래스의 우선권을 부여함. 주로 dataset이 unbalance할 때 사용함.

• b의 값을 이용해서 내가 원하는 선형(linear classifier)에 좀 더 잘 근사할 수 있도록 함.

• 입력이미지는 행렬의 형태로 W(weight)와 곱(내적)해지게 되고 거기에 bias 를 더해 각 class 에 대한 점수가 나옴.

• 즉, 여기서 곱해지는 w 의 각각의 행(row)이 각 클래스의 평균적인 템플릿이라고 할 수

• 이는 결국 클래스의 탬플릿과 인풋 이미지(x)의 유사도를 측정하는 것과 같음.

• CIFAR10 데이터로 학습시킨 Linear classifier 의 가중치(W) 행렬의 각 행을 시각화 한 이미지

• Linear classifier 의 문제점은 한 class 내에 다양한 특징들이 존재할 수 있지만, 모든 것들을 평균화 시킨다는 점이 있음.

• horse class 에 대한 W 행을 시각화한 이미지를 확인하면 말의 머리가 양쪽으로 있는 것을 확인할 수 있음.

• 이러한 점이 하나의 linear classifier 이 가지는 문제가 드러나는 모습임을 알 수 있습니다.

• 이미지를 고차원의 한 점이라고 생각하면 linear classifier은 각 클래스를 구분하는 선형 boundary 역할을 하게 됨

⇒ 하지만 이와 같은 데이터들은 선형 분류기를 통해 분류하기 어려움.

 

⇒> lecture 3에서 적합한 가중치를 고르기 위한 알고리즘에 대해 설명함. (손실함수)