Noisy Student: Self-training with Noisy Student improves ImageNet classification(2019)

 

리뷰는 아래쪽에 있습니당 ! !

번역 ver

0. Abstract

우리는 Noisy Student Training을 제안합니다. 이는 레이블이 풍부한 경우에도 잘 작동하는 준지도 학습 방법입니다. Noisy Student Training은 ImageNet에서 88.4%의 top-1 정확도를 달성합니다. 이는 35억 개의 약한 레이블이 부착된 Instagram 이미지가 필요한 최첨단 모델보다 2.0% 더 높은 성능입니다. 강건성 테스트 세트에서는 ImageNet-A의 top-1 정확도를 61.0%에서 83.7%로 향상시키며, ImageNet-C의 평균 손상 오차를 45.7에서 28.3으로 줄이고, ImageNet-P의 평균 뒤집기 비율을 27.8에서 12.2로 줄입니다. Noisy Student Training은 self-training과 distillation의 개념을 확장하여 학습 중에 동일한 크기 이상의 학생 모델과 학습 중에 학생에게 노이즈를 추가하는 방식을 사용합니다. ImageNet에서는 먼저 레이블이 있는 이미지로 EfficientNet 모델을 학습시키고, 이를 선생님으로 사용하여 3억 개의 레이블이 없는 이미지에 대해 가짜 레이블을 생성합니다. 그런 다음, 레이블이 있는 이미지와 가짜 레이블 이미지의 조합으로 더 큰 EfficientNet을 학생 모델로 학습시킵니다. 이러한 과정을 학생을 선생님으로 되돌려 놓는 것으로 반복합니다. 학생의 학습 중에는 dropout, stochastic depth, RandAugment를 통해 데이터 증강과 같은 노이즈를 주입하여 학생이 선생님보다 더 일반화될 수 있도록 합니다.

※ 준지도 학습: 정답 레이블이 있는 작은 데이터셋으로 1차 (지도)학습을 하고, 정답 레이블이 없는 큰 데이터셋으로 2차 학습을 하는 것을 말함

※ Knowledge distillation: 작은 네트워크도 큰 네트워크와 비슷한 성능을 낼 수 있도록, 학습과정에서 큰 네트워크의 지식을 작은 네트워크에게 전달하여 작은 네트워크의 성능을 높이겠다는 목적을 가지고 있음

1. Introduction

최근 몇 년 동안 딥러닝은 이미지 인식 분야에서 놀라운 성과를 보여주었습니다 [45, 80, 75, 30, 83]. 그러나 최첨단 비전 모델들은 여전히 대부분 지도 학습으로 훈련되며, 이는 잘 작동하기 위해 대량의 레이블이 부착된 이미지 집합이 필요합니다. 레이블이 부착된 이미지만 사용하여 모델을 훈련시키면, 우리는 대량의 레이블이 없는 이미지를 활용하여 최첨단 모델의 정확도와 강건성을 향상시킬 수 있는 기회를 제한하게 됩니다.

여기에서는 레이블이 없는 이미지를 사용하여 최첨단 ImageNet 정확도를 향상시키고, 이 정확도 향상이 강건성(분포 밖의 일반화)에 큰 영향을 미치는 것을 보여줍니다. 이를 위해 레이블이 없는 이미지의 훨씬 더 큰 데이터셋을 사용하며, 이 데이터셋의 상당 부분은 ImageNet 훈련 집합 분포에 속하지 않는 이미지입니다 (즉, ImageNet의 어떤 카테고리에도 속하지 않습니다). Noisy Student Training이라는 준지도 학습 접근 방식을 사용하여 모델을 훈련합니다. 이 방식은 세 가지 주요 단계로 이루어져 있습니다:

 

(1) 레이블이 있는 이미지로 선생님 모델을 훈련시킵니다

(2) 선생님 모델을 사용하여 레이블이 없는 이미지에 가짜 레이블을 생성합니다

(3) 레이블이 있는 이미지와 가짜 레이블 이미지의 조합으로 학생 모델을 훈련시킵니다.

이러한 알고리즘을 학생을 선생님으로 취급하여 레이블이 없는 데이터를 재라벨링하고 새로운 학생을 훈련시키면서 몇 번 반복합니다.

Noisy Student Training은 self-training과 distillation을 두 가지 방법으로 개선합니다.

• 첫째로, 학생을 선생님보다 크거나 적어도 동일한 크기로 만들어 학생이 더 큰 데이터셋에서 더 잘 학습할 수 있도록 합니다.

• 둘째로, 학생에게 노이즈를 추가하여 노이즈가 있는 학생이 가짜 레이블로부터 더 어렵게 학습하도록 합니다. 학생에게 노이즈를 주기 위해 RandAugment 데이터 증강 [18], dropout [76], stochastic depth [37]와 같은 입력 노이즈 및 모델 노이즈를 사용합니다. 이러한 방법을 통해 학생은 더 다양한 데이터에서 더 강력하게 학습하며, 가짜 레이블로부터 더 강력한 특징을 학습할 수 있게 됩니다.

Noisy Student Training과 3억 개의 레이블이 없는 이미지를 함께 사용하여 EfficientNet의 ImageNet top-1 정확도를 88.4%로 향상시켰습니다 [83]. 이 정확도는 이전에 약 35억 개의 약한 레이블이 부착된 Instagram 이미지가 필요한 최첨단 결과보다 2.0% 더 우수합니다. 우리의 방법은 표준 ImageNet 정확도뿐만 아니라 훨씬 어려운 테스트 세트에서의 분류 강건성도 크게 향상시킵니다. 예를 들어, ImageNet-A의 top-1 정확도는 61.0%에서 83.7%로 향상되었으며, ImageNet-C의 평균 손상 오차는 45.7에서 28.3으로 줄었으며, ImageNet-P의 평균 뒤집기 비율은 27.8에서 12.2로 줄었습니다. 주요 결과는 표 1에 나와 있습니다.

 

2. Noisy Student Training

알고리즘 1은 Noisy Student Training의 개요를 제공합니다. 알고리즘의 입력은 레이블이 있는 이미지와 레이블이 없는 이미지입니다. 우리는 레이블이 있는 이미지를 사용하여 선생님 모델을 훈련시키는 데 표준 교차 엔트로피 손실을 사용합니다. 그런 다음 선생님 모델을 사용하여 레이블이 없는 이미지에 대해 가짜 레이블을 생성합니다. 가짜 레이블은 소프트 형식 (연속적인 분포) 또는 하드 형식 (원-핫 분포)일 수 있습니다. 그런 다음 레이블이 있는 이미지와 레이블이 없는 이미지의 결합된 교차 엔트로피 손실을 최소화하는 학생 모델을 훈련합니다. 마지막으로, 학생을 선생님으로 되돌려 놓아 새로운 가짜 레이블을 생성하고 새로운 학생을 훈련시킵니다. 이 알고리즘은 Figure 1에서도 시각적으로 설명되고 있습니다.

이 알고리즘은 준지도 학습에서의 self-training([71, 96])과 distillation[33]의 개선된 버전입니다. 우리의 방법이 이전 연구와 어떻게 관련되어 있는지에 대한 더 많은 논의는 섹션 5에서 다루고 있습니다.

저희의 주요 개선점은 학생에게 노이즈를 추가하고, 선생님보다 작지 않은 학생 모델을 사용하는 것에 있습니다. 이는 저희의 방법이 지식 증류(Knowledge Distillation)[33]와 다른 점입니다. 지식 증류에서는

1) 노이즈가 자주 사용되지 않으며,

2) 선생님보다 더 빠른 속도를 위해 작은 학생 모델이 자주 사용됩니다.

저희 방법은 지식 확장으로 생각할 수 있습니다. 즉, 학생 모델이 충분한 용량과 노이즈와 같은 어려운 환경을 통해 선생님보다 더 나은 성능을 발휘할 수 있도록 하는 것입니다.

 

Noising Student

학생을 고의로 노이즈 처리할 때는 가짜 레이블을 생성할 때 노이즈가 없는 선생님과 일관성을 유지하도록 학습됩니다. 우리의 실험에서는 두 가지 유형의 노이즈를 사용합니다:

입력 노이즈와 모델 노이즈입니다. 입력 노이즈로는 RandAugment [18]와 같은 데이터 증강을 사용합니다. 모델 노이즈로는 dropout [76]과 stochastic depth [37]를 사용합니다.

레이블이 없는 데이터에 노이즈를 적용할 때, 노이즈는 레이블이 있는 데이터와 레이블이 없는 데이터의 결정 함수에서 불변성을 강제하는 중요한 이점을 가지고 있습니다.

첫째, 데이터 증강은 Noisy Student Training에서 중요한 노이징 방법입니다. 왜냐하면 데이터 증강은 학생이 이미지의 증강된 버전 간에 예측 일관성을 보장하도록 강제하기 때문입니다 (UDA [91]와 유사). 특히, 우리의 방법에서 선생님은 깨끗한 이미지를 읽어들여 고품질의 가짜 레이블을 생성하는 반면, 학생은 증강된 이미지를 입력으로 사용하여 그러한 레이블을 재현해야 합니다. 예를 들어, 학생은 이미지의 번역된 버전이 원본 이미지와 동일한 카테고리를 가져야 함을 보장해야 합니다.

둘째, dropout과 stochastic depth 함수를 노이즈로 사용할 때, 선생님은 추론 시 (가짜 레이블을 생성할 때) 앙상블처럼 동작하고, 학생은 단일 모델처럼 동작합니다. 즉, 학생은 더 강력한 앙상블 모델을 모방하도록 강제됩니다. 노이즈의 효과에 대한 실험 결과는 4.1절에서 제시됩니다.

 

Other Techniques

Noisy Student Training은 데이터 필터링과 균형 맞춤과 같은 추가적인 기교로 더욱 효과적으로 작동합니다. 이는 [91, 93]와 유사합니다. 구체적으로, 선생님 모델이 신뢰도가 낮은 이미지를 걸러내기 때문에 보통 도메인 밖의 이미지들입니다. 레이블이 없는 이미지의 분포가 훈련 세트와 일치하도록 보장하기 위해, 각 클래스에 대한 레이블이 없는 이미지의 수를 균형있게 맞추어야 합니다. ImageNet의 모든 클래스는 유사한 수의 레이블이 있는 이미지를 가지고 있으므로, 이미지가 부족한 클래스에서는 이미지를 복제합니다. 이미지가 너무 많은 클래스의 경우 가장 높은 신뢰도를 가진 이미지를 선택합니다.

마지막으로, 우리의 방법은 실험에서 모두 잘 동작하는 소프트 또는 하드 가짜 레이블과 함께 사용될 수 있다는 점을 강조하고자 합니다. 특히, 소프트 가짜 레이블은 외부 도메인의 레이블이 없는 데이터에 약간 더 잘 작동합니다. 따라서 아래에서는 일관성을 위해, 명시되지 않는 한 소프트 가짜 레이블과 함께 결과를 보고합니다.

 

Comparisons with Existing SSL Methods

self-training 외에도 준지도 학습의 또 다른 중요한 방법으로는 일관성 훈련 [5, 64, 47, 84, 56, 91, 8] 및 가짜 레이블링 [48, 39, 73, 1]이 있습니다. 이러한 방법들은 유망한 결과를 도출해냈으나, 우리의 초기 실험에서는 일관성 정규화 및 가짜 레이블링에 기반한 방법들이 ImageNet에서는 덜 잘 작동하는 것으로 나타났습니다. 레이블이 있는 데이터로 훈련된 선생님 모델을 사용하여 가짜 레이블을 생성하는 대신, 이러한 방법들은 별도의 선생님 모델 없이 훈련 중인 모델 자체를 사용하여 가짜 레이블을 생성합니다. 훈련 초기 단계에서는 훈련 중인 모델의 정확도가 낮고 엔트로피가 높기 때문에, 일관성 훈련은 모델을 고엔트로피 예측으로 정규화하고 좋은 정확도를 달성하지 못하도록 방지합니다. 일반적인 해결책으로는 엔트로피 최소화를 사용하여 낮은 신뢰도를 가진 예제를 걸러내거나 일관성 손실을 점진적으로 증가시키는 것이 있습니다. 그러나 점진적인 스케줄링, 신뢰도 기반 필터링 및 엔트로피 최소화에 따른 추가 하이퍼파라미터는 대규모로 사용하기 어렵게 만듭니다. 이에 비해 self-training/선생님-학생 프레임워크는 레이블이 있는 데이터로 ImageNet에 대한 좋은 선생님을 훈련시킬 수 있어 ImageNet에 더 적합합니다.

3. Experiments

이 섹션에서는 먼저 실험 세부 사항을 설명합니다. 그런 다음 최첨단 모델과 비교하여 ImageNet 결과를 제시합니다. 마지막으로, ImageNet-A, C, P와 같은 강건성 데이터셋 및 적대적 공격 상황에서 우리의 모델의 놀라운 개선 사항을 보여줍니다.

3.1. Experiment Details

Labeled dataset. 우리는 ImageNet 2012 ILSVRC 챌린지 예측 과제에서 실험을 진행합니다. 이 데이터셋은 컴퓨터 비전 분야에서 가장 많이 벤치마크된 데이터셋 중 하나로 간주되며, ImageNet에서의 개선 사항이 다른 데이터셋으로 전이된다고 알려져 있습니다 [44, 66].

Unlabeled dataset. 우리는 약 3억 개의 이미지를 포함하는 JFT(Jigsaw For Transformation) 데이터셋 [33, 15]에서 레이블이 없는 이미지를 얻습니다. 데이터셋의 이미지에는 레이블이 있지만, 우리는 레이블을 무시하고 레이블이 없는 데이터로 취급합니다. 우리는 데이터셋에서 ImageNet 검증 세트 이미지를 필터링합니다 ([58] 참조).

우리는 이 데이터 셋에 대해 데이터 필터링과 균형 조정을 수행합니다.

1. 먼저, ImageNet [83]에서 훈련된 EfficientNet-B0를 JFT 데이터 셋 [33, 15]에 적용하여 각 이미지에 대한 레이블을 예측합니다.

2. 그런 다음 레이블의 신뢰도가 0.3보다 높은 이미지를 선택합니다. 각 클래스마다 최대 13만개의 가장 높은 신뢰도를 가진 이미지를 선택합니다.

3. 마지막으로, 13만개의 이미지를 갖도록 각 클래스에서 이미지를 임의로 복제합니다. 따라서 학생 모델을 훈련하기 위해 사용하는 총 이미지 수는 130만장이며 (일부 이미지가 복제됨), 이 중에서는 81만장의 고유한 이미지가 있습니다. 우리의 방법은 이러한 하이퍼파라미터에 대해서는 높은 강건성을 가지고 있으므로 이들을 광범위하게 조정하지는 않습니다.

우리의 결과와의 공정한 비교를 위해, 우리는 공개 데이터셋인 YFCC100M [85]을 사용하여 실험을 수행하고 그 결과를 부록 A.4에서 보여줍니다.

Architecture. 저희는 더 많은 데이터에 대해 더 나은 용량을 제공하는 EfficientNets [83]을 기준 모델로 사용합니다. 우리의 실험에서는 EfficientNet-B7를 더욱 확장하여 EfficientNet-L2를 얻었습니다. EfficientNet-L2는 EfficientNet-B7보다 넓고 깊으며 해상도가 낮지만, 이는 더 많은 레이블이 없는 이미지를 맞출 매개변수를 제공합니다. 모델 크기가 크기 때문에, EfficientNet-L2의 훈련 시간은 EfficientNet-B7의 훈련 시간의 약 5배입니다. EfficientNet-L2에 대한 자세한 정보는 부록 A.1의 테이블 8을 참조해주시기 바랍니다.

Training details. 레이블이 있는 이미지에 대해서는 기본적으로 배치 크기 2048을 사용하고, 모델을 메모리에 맞추지 못할 경우 배치 크기를 줄입니다. 배치 크기 512, 1024, 2048을 사용해도 동일한 성능을 얻을 수 있다는 것을 확인했습니다. 레이블이 있는 이미지의 배치 크기에 따라 훈련 단계 수와 학습률 스케줄을 결정합니다. 구체적으로, EfficientNet-B4보다 큰 모델인 EfficientNet-L2를 포함한 모델에 대해서는 350 epoch 동안 학생 모델을 훈련하고, 더 작은 학생 모델에 대해서는 700 epoch 동안 훈련합니다. 학습률은 레이블 배치 크기 2048에 대해 0.128로 시작하고, 350 epoch 훈련 시 2.4 epoch마다 0.97로 감소하거나 700 epoch 훈련 시 4.8 epoch마다 감소합니다.

우리는 특히 큰 모델의 경우 레이블이 없는 이미지에 대해 큰 배치 크기를 사용하여 레이블이 없는 이미지의 대량의 양을 최대한 활용합니다. 레이블이 있는 이미지와 레이블이 없는 이미지를 연결하여 평균 교차 엔트로피 손실을 계산합니다. EfficientNet-L2에 대해서는 최근 제안된 train-test 해상도 불일치를 수정하는 기술을 적용합니다 [86]. 우리는 먼저 작은 해상도로 350 epoch 동안 일반적인 훈련을 수행합니다. 그런 다음 큰 해상도로 unaugmented 레이블이 있는 이미지에 대해 1.5 epoch 동안 모델을 세밀하게 조정합니다. [86]과 유사하게, 세밀 조정 중에는 얕은 레이어를 고정합니다.

우리의 가장 큰 모델인 EfficientNet-L2는 레이블 배치 크기의 14배인 레이블이 없는 배치 크기로 훈련할 경우, 2048 개의 코어를 갖는 Cloud TPU v3 Pod에서 6일 동안 훈련해야 합니다.

Noise. 우리는 학생 모델에 대해 stochastic depth [37], dropout [76] 및 RandAugment [18]를 사용하여 노이즈를 추가합니다. 이러한 노이즈 함수에 대한 하이퍼파라미터는 EfficientNet-B7과 L2에 대해 동일하게 설정됩니다. 특히, stochastic depth에서는 마지막 레이어의 생존 확률을 0.8로 설정하고, 다른 레이어에 대해서는 선형 감소 규칙을 따릅니다. dropout은 dropout 비율이 0.5인 마지막 레이어에 적용합니다. RandAugment에서는 랜덤 작업을 두 가지 적용하며, 크기는 27로 설정합니다.

Interative training. 우리 실험에서 최고의 모델은 학생을 새로운 선생님으로 되돌려 놓는 세 번의 반복을 통해 얻은 결과입니다. 우리는 먼저 ImageNet에서 EfficientNet-B7를 선생님 모델로 훈련시켰습니다. 그런 다음 B7 모델을 선생님으로 사용하여 레이블이 없는 배치 크기를 레이블 배치 크기의 14배로 설정하여 EfficientNet-L2 모델을 훈련시켰습니다. 그 다음 EfficientNet-L2 모델을 선생님으로 사용하여 새로운 EfficientNet-L2 모델을 훈련시켰습니다. 마지막으로 다시 반복하고 레이블 배치 크기의 28배로 레이블이 없는 배치 크기를 설정하여 훈련했습니다. 세 번의 반복의 상세한 결과는 4.2절에서 확인할 수 있습니다.

3.2. ImagetNet Results

우리는 먼저 문헌에서 보통 수행되는 대로 ImageNet 2012 ILSVRC 챌린지 예측 과제의 검증 세트 정확도를 보고합니다 [45, 80, 30, 83] (또한 [66]도 참조). 표 2에서 볼 수 있듯이, Noisy Student Training을 적용한 EfficientNet-L2는 88.4%의 top-1 정확도를 달성하여 EfficientNet의 최고 보고 정확도인 85.0%보다 크게 개선되었습니다. 이 3.4%의 총 개선은 두 가지 요소에서 온 것입니다: 모델을 더 크게 만들어서(+0.5%)와 Noisy Student Training을 적용하여(+2.9%). 즉, Noisy Student Training은 아키텍처를 변경하는 것보다 정확도에 훨씬 큰 영향을 미칩니다.

또한, Noisy Student Training은 FixRes ResNeXt-101 WSL [55, 86]의 최고 정확도인 86.4%를 능가합니다. FixRes ResNeXt-101 WSL은 태그로 레이블이 지정된 35억 개의 Instagram 이미지가 필요합니다. 비교적 수집하기 쉬운 3억 개의 레이블이 없는 이미지만 필요한 반면, 우리의 방법은 이를 능가합니다. 또한, 우리의 모델은 FixRes ResNeXt-101 WSL과 비교하여 매개변수의 수에서 약 두 배 정도 작습니다.

Model size study: Noisy Student Training for EfficientNet B0-B7 without Interative Training. Noisy Student Training가 다른 EfficientNet 모델에도 이점을 제공할 수 있는지 확인하기 위해 추가 실험을 진행합니다. 이전 실험에서는 EfficientNet-L2의 정확도를 최적화하기 위해 반복적인 훈련이 사용되었지만, 많은 실험에 대해서는 반복적인 훈련을 사용하기 어려우므로 이를 건너뜁니다. 우리는 EfficientNet-B0부터 EfficientNet-B7 [83]까지 모델 크기를 변경하고, 선생님과 학생으로 동일한 모델을 사용합니다. 모든 EfficientNet 기준 모델에 RandAugment를 적용하여 더 경쟁력 있는 기준 모델을 만듭니다. 레이블이 있는 이미지의 배치 크기의 3배를 레이블이 없는 이미지의 배치 크기로 설정하며, EfficientNet-B0의 경우 레이블이 있는 이미지의 배치 크기와 동일하게 설정합니다. 그림 2에서 볼 수 있듯이, Noisy Student Training은 모든 모델 크기에 대해 일관된 약 0.8%의 개선을 이끌어냅니다. 전반적으로, Noisy Student Training이 적용된 EfficientNet은 모델 크기와 정확도 사이에서 이전 작업에 비해 훨씬 더 좋은 트레이드오프를 제공합니다. 이 결과는 또한 반복적인 훈련 없이도 비전 모델이 Noisy Student Training에서 이점을 얻을 수 있다는 것을 확인합니다.

3.3. Robustness Results on ImageNet-A, ImageNet-C and ImageNet-P

우리는 최고의 모델인 top1 정확도가 88.4%를 달성하는 모델을 세 가지 강인성 테스트 세트인 ImageNet-A, ImageNet-C 및 ImageNet-P에서 평가합니다. ImageNet-C와 P 테스트 세트 [31]는 흐림, 안개, 회전 및 크기 조정과 같은 일반적인 손상과 변형이 있는 이미지를 포함합니다. ImageNet-A 테스트 세트 [32]는 최첨단 모델의 정확도에 큰 하락을 야기하는 어려운 이미지로 구성됩니다. 이러한 테스트 세트는 "강인성" 벤치마크로 간주됩니다. 왜냐하면 ImageNet-A의 경우 테스트 이미지가 훨씬 더 어렵거나, ImageNet-C와 P의 경우 테스트 이미지가 훈련 이미지와 다르기 때문입니다.

ImageNet-C와 ImageNet-P의 경우, 우리는 해상도 224x224와 299x299로 두 가지 버전의 모델을 평가하고, EfficientNet이 훈련된 해상도로 이미지를 조정합니다. 표 3, 4 및 5에서 볼 수 있듯이, Noisy Student Training은 이전 최첨단 모델인 35억 개의 약한 레이블 이미지로 훈련된 ResNeXt-101 WSL [55, 59]과 비교하여 강인성 데이터셋에서 상당한 향상을 보여줍니다. ImageNet-A의 경우, top-1 정확도를 61.0%에서 83.7%로 향상시킵니다. ImageNet-C의 경우, 평균 손상 오류 (mCE)를 45.7에서 28.3으로 줄입니다. ImageNet-P의 경우, 해상도 224x224 (직접 비교)를 사용할 경우 평균 flip rate (mFR)는 14.2이고, 해상도 299x299를 사용할 경우 12.2입니다. ImageNet-C와 ImageNet-P에서의 이러한 강인성의 큰 향상은 우리의 방법이 강인성을 명시적으로 최적화하지 않았음에도 불구하고 놀라운 결과입니다.

Qualitative Analysis. 강인성 벤치마크의 상당한 향상을 직관적으로 이해하기 위해, 우리는 Figure 3에서 몇 가지 이미지를 보여줍니다. 이 이미지들은 표준 모델의 예측이 잘못되었지만 Noisy Student Training이 적용된 모델의 예측은 올바른 것입니다.

Figure 3a에서는 ImageNet-A의 예시 이미지와 우리 모델의 예측을 보여줍니다. Noisy Student Training이 적용된 모델은 이러한 매우 어려운 이미지의 올바른 레이블을 성공적으로 예측할 수 있습니다. 예를 들어, Noisy Student Training이 없으면, 두 번째 행 왼쪽에 표시된 이미지에 대해 모델은 물 위의 검은 연꽃 잎 때문에 이미지를 소금쟁이로 잘못 예측할 수 있습니다. 그러나 Noisy Student Training이 적용된 모델은 올바르게 잠자리를 예측합니다. 맨 위 왼쪽 이미지에서, Noisy Student Training이 없는 모델은 바다 사자를 무시하고 부표를 등대로 잘못 인식하지만, Noisy Student Training이 적용된 모델은 바다 사자를 인식할 수 있습니다.

Figure 3b는 ImageNet-C의 이미지와 해당 예측을 보여줍니다. 그림에서 볼 수 있듯이, Noisy Student Training이 적용된 모델은 눈, 모션 블러, 안개와 같은 심각한 손상과 변형이 있는 이미지에 대해 올바른 예측을 수행하는 반면, Noisy Student Training이 없는 모델은 이러한 조건에서 크게 피해를 입습니다. 가장 흥미로운 이미지는 첫 번째 행의 오른쪽에 표시되어 있습니다. 그림의 그네는 거의 인식할 수 없는데도 Noisy Student Training이 적용된 모델은 여전히 올바른 예측을 수행합니다.

Figure 3c는 ImageNet-P의 이미지와 해당 예측을 보여줍니다. 볼 수 있듯이, Noisy Student Training이 적용된 모델은 이미지가 다른 변형을 겪을 때도 올바른 일관된 예측을 수행하는 반면, Noisy Student Training이 없는 모델은 예측을 자주 뒤집습니다.

3.4 Adversarial Robustness Results

일반적인 손상과 변형에 대한 모델의 강인성을 테스트한 후에는 적대적인 변형에 대한 성능도 연구합니다. 우리는 Noisy Student Training이 적용된 EfficientNet-L2 모델과 그렇지 않은 모델을 FGSM 공격에 대해 평가합니다. 이 공격은 입력 이미지에 대해 한 번의 그래디언트 하강 단계를 수행하며 각 픽셀에 대한 업데이트는 입실론으로 설정됩니다. Figure 4에서 볼 수 있듯이, Noisy Student Training은 적대적인 강인성을 명시적으로 최적화하지 않았음에도 불구하고 정확도에서 매우 큰 향상을 이끕니다. 더 강력한 PGD 공격인 10번의 반복을 수행하는 경우 (= 16), Noisy Student Training은 EfficientNet-L2의 정확도를 1.1%에서 4.4%로 향상시킵니다.

앞서 언급한 적대적인 강인성 결과는 직접적으로 이전 연구와 비교할 수 없습니다. 왜냐하면 우리는 800x800 크기의 큰 입력 해상도를 사용하고 적대적인 취약점은 입력 차원과 함께 변동할 수 있기 때문입니다 [22, 25, 24, 74].

4. Ablation Study

이 섹션에서는 우리의 방법의 중요성을 이해하기 위해 노이즈와 반복적인 훈련의 중요성을 연구하고, 다른 구성 요소에 대한 실험 결과를 요약합니다. 실험을 수행하고 결과를 분석함으로써, 이 방법의 효과를 결정하는 주요 요소에 대한 통찰력을 얻을 수 있습니다.

4.1. The Importance of Noise in Self-training

우리는 선생님 모델에서 생성된 소프트 의사 레이블을 사용하기 때문에, 학생이 선생님 모델과 완전히 동일하게 훈련되는 경우 미분 엔트로피 손실은 0이 되고 훈련 신호는 사라질 것입니다. 따라서, 학생이 소프트 의사 레이블로 선생님을 능가하는 이유에 대한 질문이 자연스럽게 발생합니다. 앞서 언급했듯이, 학생이 선생님의 지식만 배우지 않도록 노이즈를 추가해야 한다는 가설을 세웁니다. 우리는 다른 양의 미분류된 데이터와 다른 선생님 모델의 정확도를 가진 두 가지 시나리오에서 노이즈의 중요성을 조사합니다. 이 두 경우 모두, 학생 모델을 훈련할 때 미분류된 이미지에 대해 점점 증강, 스토캐스틱 뎁스 및 드롭아웃을 제거하면서 레이블된 이미지에 대해서는 유지합니다. 이렇게 함으로써, 미분류된 이미지에 대한 노이즈의 영향을 레이블된 이미지에 대한 오버피팅 방지의 영향과 분리할 수 있습니다. 또한, 노이즈가 생성된 의사 레이블을 생성할 때 노이즈를 비활성화해야 하는지 여부를 연구하기 위해 노이즈가 있는 선생님과 노이즈가 없는 선생님을 비교합니다.

표 6에서 보여주는 바와 같이, stochastic depth, dropout, 그리고 data augmentation과 같은 노이즈 기능은 학생 모델이 선생님보다 우수한 성능을 발휘하는 데 중요한 역할을 합니다. 노이즈 기능을 제거하면 성능이 일관되게 하락합니다. 그러나 130M의 미분류된 이미지를 사용한 경우, 노이즈 기능을 제거한 경우에도 성능은 84.0%에서 84.3%로 향상되었습니다. 이러한 향상은 SGD (Stochastic Gradient Descent)로 설명될 수 있는데, 이는 훈련 과정에 확률적인 요소를 도입합니다.

어떤 사람들은 노이즈를 사용하여 개선된 결과는 미분류된 이미지의 의사 레이블에 대한 과적합을 방지한 결과라고 주장할 수 있습니다. 우리는 130M의 미분류된 이미지를 사용한 경우에는 모델이 훈련 손실을 통해 미분류된 집합에 대해 과적합되지 않는다는 것을 확인했습니다. 노이즈를 제거하면 레이블된 이미지의 훈련 손실이 훨씬 낮아지지만, 미분류된 이미지의 경우에는 노이즈를 제거해도 훈련 손실의 감소가 더 작게 나타납니다. 이는 큰 미분류된 데이터셋에 대해 과적합하기가 더 어렵기 때문일 것입니다.

마지막으로, 의사 레이블을 생성하는 선생님 모델에 노이즈를 추가하면 정확도가 낮아지는 것을 확인할 수 있습니다. 이는 강력한 노이즈가 없는 선생님 모델을 가지는 것의 중요성을 보여줍니다.

4.2. A Study of Interative Training

이번 섹션에서는 반복 훈련의 세부적인 효과를 설명합니다. 3.1절에서 언급한대로, 우리는 먼저 레이블된 데이터로 EfficientNet-B7 모델을 훈련시키고, 그런 다음 이를 선생님으로 사용하여 EfficientNet-L2 학생 모델을 훈련시킵니다. 그런 다음 이 과정을 반복하여 새로운 학생 모델을 선생님 모델로 사용합니다.

표 7에서 보여지듯이, 모델의 성능이 첫 번째 반복에서 87.6%로 개선되고, 두 번째 반복에서는 88.1%로 개선됩니다 (동일한 하이퍼파라미터를 사용하되 성능이 더 좋은 선생님 모델을 사용한 경우). 이러한 결과는 반복 훈련이 점점 더 나은 모델을 만드는 데 효과적임을 나타냅니다. 마지막 반복에서는 미분류된 배치 크기와 레이블된 배치 크기 사이의 비율을 더 크게 설정하여 최종 성능을 88.4%로 향상시킵니다.

4.3 Additional Ablation Study Summarization

저희는 Noisy Student Training의 다양한 설계 선택의 중요성도 연구했습니다. 이를 통해 독자들에게 실용적인 가이드를 제공하기를 바랍니다. 이를 위해 Appendix A.2에서 8가지 기능 제거 연구를 수행했습니다. 다음과 같이 요약된 결과를 도출했습니다:

• 결과 #1: 더 나은 성능을 가진 큰 선생님 모델 사용은 더 좋은 결과를 이끌어냅니다.

• 결과 #2: 대량의 미분류 데이터는 더 나은 성능을 위해 필수적입니다.

• 결과 #3: 일부 경우에는 소프트 미분류가 하드 미분류보다 외부 도메인 데이터에 대해 더 잘 작동합니다.

• 결과 #4: 큰 학생 모델은 학생이 더 강력한 모델을 배울 수 있도록 하는 데 중요합니다.

• 결과 #5: 데이터 균형은 작은 모델에 유용합니다.

• 결과 #6: 레이블된 데이터와 미분류된 데이터의 공동 훈련은 미분류된 데이터로 사전 훈련한 다음 레이블된 데이터로 세부 조정하는 파이프라인보다 우수한 성능을 낼 수 있습니다.

• 결과 #7: 미분류된 배치 크기와 레이블된 배치 크기 사이의 큰 비율 사용은 모델이 미분류된 데이터에서 더 긴 시간 동안 훈련하여 더 높은 정확도를 달성하는 데 도움이 됩니다.

• 결과 #8: 학생을 처음부터 훈련시키는 것이 때로는 선생님으로 초기화한 학생보다 더 나을 수 있으며, 선생님으로 초기화한 학생도 좋은 성능을 내기 위해서는 많은 수의 훈련 epoch가 필요합니다.

5. Related Works

Self-training

저희 작업은 self-training을 기반으로 합니다. 예를 들어, [71, 96, 68, 67]와 같은 이전의 작업들에서 사용되었습니다. Self-training은 먼저 레이블된 데이터로 좋은 선생님 모델을 훈련시킨 다음, 선생님 모델을 사용하여 레이블이 없는 데이터에 레이블을 지정하고, 마지막으로 레이블된 데이터와 레이블이 지정된 데이터를 함께 사용하여 학생 모델을 훈련시킵니다. 하지만 기존의 self-training 방식에서는 일반적으로 학생 모델에 대한 노이즈 주입은 기본적으로 사용되지 않거나, 노이즈의 역할이 완전히 이해되거나 정당화되지 않는 경우가 많습니다. 우리의 작업과 기존 작업 간의 주요한 차이점은 노이즈의 중요성을 인식하고, 학생 모델을 더욱 향상시키기 위해 적극적으로 노이즈를 주입한다는 점입니다.

이전에 self-training은 ResNet-50의 top-1 정확도를 76.4%에서 81.2%로 향상시키기 위해 사용되었습니다 [93]. 그러나 이는 여전히 최신 기술의 정확도와는 거리가 있습니다. Yalniz 등 [93]은 또한 우리와 같은 방식으로 ImageNet-A, C 및 P의 강건성 면에서 큰 개선을 보여주지 않았습니다. 방법론적으로는, 그들은 먼저 레이블이 없는 이미지만을 사용하여 모델을 훈련시킨 다음, 최종 단계로 레이블이 지정된 이미지에서 모델을 세밀 조정하도록 제안하였습니다. 그러나 Noisy Student Training에서는 이러한 두 단계를 하나로 결합하여 알고리즘을 단순화하고 실험에서 더 좋은 성능을 얻을 수 있었습니다.

Data Distillation [63]과 같은 기술은 이미지에 대해 다양한 변환을 사용하여 강력한 선생님을 만들기 위해 예측을 앙상블하는 반면, 우리의 접근 방식은 학생을 약화시키는 것과 반대입니다. Parthasarathi et al. [61]은 레이블이 없는 데이터에 대한 지식 증류를 통해 배포용으로 작고 빠른 음성 인식 모델을 찾았습니다. 학생에게 노이즈를 사용하지 않고 학생도 작기 때문에 선생님보다 더 나은 성능을 내기는 어렵습니다. [69]의 도메인 적응 프레임워크는 관련이 있지만 비디오에 대해 매우 최적화되어 있으며, 예를 들어 비디오에서 사용할 프레임을 예측합니다. [101]의 방법은 여러 선생님 모델의 예측을 앙상블하는데, 이는 우리의 방법보다 비용이 더 많이 듭니다.

Co-training [9]은 피쳐를 두 개의 상호 배타적인 파티션으로 분할하고 레이블된 데이터를 사용하여 두 개의 모델을 해당 피쳐 집합과 함께 훈련시킵니다. 그들의 "노이즈"의 소스는 레이블되지 않은 데이터에서 항상 동의하지 않도록 피쳐를 분할하는 것입니다. 우리의 방법은 학생 모델에 노이즈를 주어 선생님과 학생이 서로 다른 예측을 할 수 있도록 하며, ImageNet에는 피쳐를 분할하는 것보다 더 적합합니다.

셀프 트레이닝 및 공동 트레이닝은 노이즈가 있는 데이터를 활용하여 다양한 작업에 효과적으로 작동함이 입증되었습니다. 이러한 방법은 레이블이 없는 데이터를 활용하여 모델의 성능을 향상시키는 데 큰 도움이 되었으며, 시맨틱 세그멘테이션, 텍스트 분류 등 다양한 작업에서 효과적으로 적용되었습니다. 또한, 기계 번역에서는 역 번역과 셀프 트레이닝이 의미 있는 개선을 이끌어냈습니다. 이러한 방법들은 레이블이 없는 데이터를 활용하여 모델의 성능을 향상시키는 데 큰 역할을 하고 있으며, 다양한 분야에서 널리 채택되고 있습니다.

Semi-supervised Learning

자기 학습(self-training) 외에도 준지도학습(semi-supervised learning)의 또 다른 중요한 연구 방향은 일관성 훈련(consistency training)을 기반으로 합니다 [12, 103]. 이 방법들은 모델의 예측이 입력, 숨겨진 상태 또는 모델 매개변수에 주입된 노이즈에 불변하도록 제약을 가합니다. 일관성 정규화는 훈련 중인 모델을 사용하여 의사 레이블을 생성하는데, 이로 인해 ImageNet에서는 일관성 정규화가 잘 작동하지 않는 것으로 알려져 있습니다. 훈련 초기 단계에서 모델을 고엔트로피 예측으로 정규화하면서 정확도 향상을 억제하기 때문입니다.

의사 레이블(pseudo label)에 기반한 연구들 [48, 39, 73, 1]은 자기 학습과 유사하지만, 일관성 훈련과 같은 문제를 겪습니다. 왜냐하면 이들은 높은 정확도를 갖는 수렴된 모델 대신 훈련 중인 모델에 의사 레이블을 생성하는 데 의존하기 때문입니다. 준지도학습의 다른 프레임워크에는 그래프 기반 방법 [102, 89, 94, 42], 잠재 변수를 대상 변수로 활용하는 방법 [41, 53, 95] 및 저밀도 분리를 기반으로 한 방법 [26, 70, 19] 등이 포함됩니다. 이러한 방법들은 우리의 방법과 보완적인 이점을 제공할 수 있습니다.

Knowledge Distillation

우리의 연구는 지식 압축을 위한 지식 증류(Knowledge Distillation) 방법 [10, 3, 33, 21, 6]과도 관련이 있습니다. 우리는 소프트 타깃을 사용함으로써 지식 증류 방법과 연결됩니다. 지식 증류의 주요 목적은 학생 모델을 작게 만들어 모델 압축을 하는 것입니다. 우리의 방법과 지식 증류의 주요 차이점은 지식 증류가 미지의 데이터를 고려하지 않고 학생 모델을 개선하는 것을 목표로 하지 않는다는 점입니다.

Robustness

기존 연구들 (예: [82, 31, 66, 27])은 시각 모델의 부족한 견고성을 보여주었습니다. 견고성의 부족은 최근 머신러닝과 컴퓨터 비전 분야에서 중요한 연구 방향이 되어왔습니다. 우리의 연구는 미지의 데이터를 사용하는 것이 정확성과 일반적인 견고성을 향상시킨다는 것을 보여줍니다. 이러한 결과는 미지의 데이터를 사용하여 적대적 견고성을 향상시킬 수 있다는 주장과 일치합니다 [11, 77, 57, 97]. 우리의 연구와 이러한 연구들의 주요 차이점은 그들이 미지의 데이터에서 직접 적대적 견고성을 최적화하는 반면, 우리는 Noisy Student Training이 직접적으로 견고성을 최적화하지 않아도 견고성을 크게 향상시킨다는 점입니다.

 

6. Conclusion

약한 지도 학습에 대한 이전 연구들은 최첨단 ImageNet 모델을 개선하기 위해 수십억 개의 약하게 레이블이 지정된 데이터를 필요로 했습니다. 이 연구에서는 미지의 이미지를 사용하여 최첨단 ImageNet 모델의 정확성과 견고성을 현저히 향상시킬 수 있다는 것을 보여주었습니다. 우리는 미지의 데이터를 대규모로 활용하기 위해 자기 학습(self-training)이라는 간단하고 효과적인 알고리즘을 사용했습니다. 또한, 학생 모델에 노이즈를 추가하여 학생이 선생님의 지식을 넘어서도록 개선했습니다. 따라서 이를 Noisy Student Training이라고 부릅니다.

우리의 실험 결과에서는 Noisy Student Training과 EfficientNet을 사용하여 88.4%의 정확도를 달성할 수 있었습니다. 이는 Noisy Student Training을 사용하지 않을 때보다 2.9% 더 높은 수치입니다. 이 결과는 또한 새로운 최고 성능을 나타내며, 이전에 약 10배 더 많은 약하게 레이블이 지정된 데이터를 사용한 최적의 방법보다 2.0% 더 우수합니다. [55, 86]

우리의 연구에서 중요한 기여는 Noisy Student Training이 컴퓨터 비전 모델의 견고성을 향상시킨다는 것을 보여준 것입니다. 우리의 실험에서는 우리 모델이 ImageNet-A, C 및 P에서 성능을 크게 향상시킴을 보였습니다

 

💡

<리뷰>

1. Introduction

• 딥러닝은 Image classification 분야에서 엄청난 좋은 성과들을 보여줬음

• 하지만, 이러한 모델들은 여전히 대부분 지도학습으로 훈련되고, labeld image를 필요로 했음

• 그렇게 되면, unlabeled data를 활용해서 아이디어를 낼 수 있는 기회를 제한시킴
• ➡️ 결론: 이 논문은 Unlabeled data를 활용해서 ImageNet 정확도 및 일반화 향상을 하고자 했음

 

• 기존 Self-training framework를 사용했고, 이 논문에서는 Noisy Student Training 기법이라고 칭함

• ※ Self-training framework (준지도 학습)

  • 지도 학습과 비지도 학습의 사이에 있는 학습 방식

  • 레이블이 존재하는 데이터와 존재하지 않는 데이터 모두를 훈련에 사용함

  • 레이블이 없는 다량의 데이터에 적은 양의 레이블이 존재하는 데이터를 포함시키는 경우, 정확도 개선의 경향성을 보인다고 함

  참고: https://gooopy.tistory.com/122

• labeled images로 teacher model 학습
• teacher model을 이용하여 unlabeled images에 대한 pseudo labels 생성
• labeled images와 pseudo labeled images를 이용하여 student model 학습

논문 요약: 본인보다 똑똑한(equal-or-larger student model) 학생들(with noise)에게 본인도 확실하지 않은 어려운 공부(pseudo labeled images)와 확실한 공부(labeled images)를 시킨다. 학생들은 머리를 맞대며(ensemble 같은 효과) 청출어람 하고, 선생님이 되어 새로운 학생을 같은 방식으로 가르친다.

2. Noisy Student Training

2-1) Method

1. Labeled image와 unlabeled image 필요

2. labeled image로 teacher model을 학습시킴.

• 이때 손실 함수는 labeled image의 cross entropy loss를 최소화하는 방식으로 진행.

• 논문에서는 EfficientNet을 사용

3. teacher model을 사용하여 unlabeled image에 대한 pseudo label을 생성함. (noise 추가 x)

• pseudo labels은 soft하거나 hard함.

• soft한 label:: continuous distribution 한 label.: “이 사진은 사자일 확률이 가장 높은데 고양이랑도 닮았네”와 같은 knowledge로 사용 가능.
• : softmax를 거쳐 나온 output

• hard한 label:: ex) one-hot vector

4. pseudo labeled image와 labeled image로 노이즈가 추가된 student model을 학습.

• 이때, student model은 teacher model보다 같거나 큰 모델을 사용함.

• ※ 주요 개선점 , knowledge Distillation과 다른 점

  • 노이즈가 자주 사용되지 않았음

  • teacher model보다 더 빠른 속도를 위해 작은 student model이 자주 사용됐음

  ➡️결론: Knowledge Expansion으로 student에 더 큰 용량을 제공하고 어려운 환경(noise) 속에서 학습을 시켜, 학생이 선생님보다 더 나은 성능을 발휘할 수 있는 모델이라고 이 논문에서 말함

   

---

 

2-2) Noising Student

 

Noise의 방법: 총 3가지 - input noise: RandAugment - model noise: dropout, stochastic depth

• input noise
  • RandAugment (data augmentation): 자동 data augmentation
  • 선생님은 깨끗한 이미지를 읽어 들여 고품질의 가짜 레이블을 생성하는 반면, 학생은 증강된 이미지(noise가 있는) 를 입력으로 사용하여 그러한 레이블을 재현해야 더 학습이 잘 되기 때문에, 해주었다고 함 (pseudo labeled data를 좀 더 힘들게 학습하도록 강제하기 위함)
  • RandAugment을 통해 바뀐 이미지가 기존 이미지와 같은 label인 사실을 student가 알게 됨.
  • 이를 통해 더 어려운 이미지도 예측을 잘 할 수 있게 됨.
  • 참고) RandAugment

    • 확률과 무작위성에 기반한 데이터 증강 방법

    

 

• model noise
  • dropout: 확률적으로 특정 뉴런을 학습에 참여 x
  • stochastic depth: 학습시 무작위로 layer 생략 (skip connection 사용) -> 짧은 network로 학습
  ➡️ 강력한 ensemble 효과를 낸다고 함

 

2-3) Other Techniques

추가 적용 기법: 2.5가지? - data filtering - balancing - pseudo labels

• Data filtering
  • teacher model이 낮은 confidence로 예측하는 이미지는 대부분이 out-of-domain images 이기 때문에 필터링 진행

• Balancing
  • ImageNet 데이터를 보면 각 class 마다 비슷한 개수의 labeled images가 있지만, unlabeled images에 대해서도 각 class 마다 이미지 개수의 balance를 맞춰야 함.
  • 적은 데이터 개수의 class 이미지를 duplicate하여 늘렸고, 매우 많은 데이터 개수의 class 이미지 중 높은 confidence를 보이는 이미지만 사용함.

• pseudo labels
  • soft/hard labels 중 soft pseudo labels를 사용했을 때 out of domain unlabeled data에 대해 성능이 더 좋다고 함. 따라서 soft pseudo labels를 사용해서 실험 진행

 

3. Experiments

3.1. Experiment Details

 

※ Unlabeled data: 데이터셋의 이미지에는 레이블이 있지만, 레이블을 무시하고 레이블이 없는 데이터로 취급

• dataset
  • labeled dataset: ImageNet 2012 ILSVRC challenge
  • unlabeled dataset: JFT 300M (data filtering과 balancing 적용) * ImageNet으로 학습된 EfficientNet-B0를 이용
    • confidence score > 0.3
    • class 마다 130K images filter
    • 130K images 보다 적을 시 duplicate randomly

• Architecture
  • EfficientNets * EfficientNet-B7
    • EfficientNet-L2

• Training
  • 큰 batch size 사용
  • fixing the train-test resolution discrepancy * 350 epoch 동안 작은 resolution 사용
    • 그 후 1.5 epoch 동안 unaugmented labeled images에 대해 큰 resolution으로 fine-tuning
    • fine-tuning시에 shallow layer freeze

• Noise
  • stochastic depth: final layer에 0.8을 두고 다른 layer은 linear decay rule을 따르도록 한다.
  • dropout: final classification layer에 0.5
  • RandAugment: magnitude=27

• Iterative training
  • 3 iterations
  • 1st teacher model: EfficientNet-B7
  • 1st student model: EfficientNet-L2
  • 2nd student model: EfficientNet-L2
  • 3rd student model: EfficientNet-L2
  • batch size의 ratio (unlabeled batch size : labeled batch size)를 크게 두었다. * 1st student model -> 14:1
    • 2nd student model -> 14:1
    • 3rd student model -> 28:1

 

3.2. ImagetNet Results

• Noisy Student(EfficientNet-L2)가 88.4% top-1 accuracy로 SOTA를 갱신.

• 기존 EfficientNet-B7에 비해 3.4% 성능 개선이 이루어짐

• EfficientNet-L2에서 Noisy Student 방법의 추가로 2.9% 성능 개선

• Noisy Student가 기존 EfficientNet에 비해 효과가 있는지를 알아보기 위해서, iterative training을 진행하지 않고 딱 한 번의 student 학습을 진행했을 때 성능을 나타낸 그래프

• teacher와 student는 같은 모델로 학습시킴

• EfficientNet-B0 부터 EfficientNet-B7 까지 모델의 크기를 다양하게 변화 시킴

• 공정성을 위해 기존 baseline의 EfficientNet에 RandAugment를 적용 시킴

• 모든 모델 사이즈에 있어 약 0.8%의 성능이 향상됨

• iterative training 없이도 어느정도 성과가 있는 것으로 확인됨

 

3.3. Robustness Results on ImageNet-A, ImageNet-C and ImageNet-P

※ Robustness하다의 의미

: 딥러닝 모델이 작은 변화에도 민감하지 않도록 하는 것을 의미

 

• Robustness 측정을 위해 ImageNet-A, ImageNet-C, ImageNet-P을 이용

• ImageNet-A 데이터셋은 SOTA model들이 공통적으로 어려워하는 이미지들을 모은 데이터셋

• ImageNet-C와 ImageNet-P 데이터셋은 blurring, fogging, rotation, 그리고 scaling 등과 같은 이미지에 흔히 발생할 수 있는 Corruption과 perturbation이 적용된 데이터셋

➡️ 이러한 이미지들은 어려운 task(ImageNet-A)이며, 트레이닝 데이터와 다르기(ImageNet-C, ImageNet-P) 때문에 robustness를 측정하는데에 사용됐다고 함

• ImageNet-P의 경우 mFR(mean flip rate)를 resolution에 따라 14.2와 12.2까지 낮춤. 저자는 이 논문이 robustness 향상을 의도한게 아니었어서 결과가 놀랍다고 했음

 

---

 

3.4. Adversarial Robustness Results

※ Adversarial Robustness란 : 신경망 모델을 공격하기 위해 사용되는 기법으로, 모델의 손실 함수의 기울기를 사용하여 입력 데이터에 미세한 조정을 가해 모델을 오작동시키는 것

• Adversarial attack의 일종인 FGSM(Fast Gradient Sign Method)을 적용.

• 이 실험에서도 저자는 이 모델이 Adversarial Robustness를 고려하지 않고 만들었지만 좋은 성능을 내는 것에 놀라워함.

• 그래프를 보면 epsilon이 증가할 수록 더욱 큰 차이의 성능 개선을 하는 것을 알 수 있음.

 

4. Ablation Study

 

4.1. The Importance of Noise in Self-training

• Unlabeled Data가 클수록 좋다

• Noise가 있을수록 좋다

• teacher Model이 Unlabeled Data를 추론할 때는 Noise를 추가하지 않는게 더 좋다

 

4.2. A Study of Interative Training

※ 14:1은 배치 크기가 데이터 세트의 크기의 14%라는 것을 의미.  ex) 데이터 세트의 크기가 10000개라면 배치 크기는 140개를 의미함

• 반복할수록 성능이 더 좋다

 

4.3. Additional Ablation Study Summarization

• 결과 #1: 더 나은 성능을 가진 큰 선생님 모델 사용은 더 좋은 결과를 이끌어냅니다.

• 결과 #2: 대량의 미분류 데이터는 더 나은 성능을 위해 필수적입니다.

• 결과 #3: 일부 경우에는 소프트 미분류가 하드 미분류보다 외부 도메인 데이터에 대해 더 잘 작동합니다.

• 결과 #4: 큰 학생 모델은 학생이 더 강력한 모델을 배울 수 있도록 하는 데 중요합니다.

• 결과 #5: 데이터 균형은 작은 모델에 유용합니다.

• 결과 #6: 레이블된 데이터와 미분류된 데이터의 공동 훈련은 미분류된 데이터로 사전 훈련한 다음 레이블된 데이터로 세부 조정하는 파이프라인보다 우수한 성능을 낼 수 있습니다.

• 결과 #7: 미분류된 배치 크기와 레이블된 배치 크기 사이의 큰 비율 사용은 모델이 미분류된 데이터에서 더 긴 시간 동안 훈련하여 더 높은 정확도를 달성하는 데 도움이 됩니다.

• 결과 #8: 학생을 처음부터 훈련시키는 것이 때로는 선생님으로 초기화한 학생보다 더 나을 수 있으며, 선생님으로 초기화한 학생도 좋은 성능을 내기 위해서는 많은 수의 훈련 epoch가 필요합니다.

5. Related Works

※ Self-training란 (준지도학습 방법 중 하나)

: labeled data를 활용하여 학습한 모델이 예측한 결과(confident한 결과)를 unlabeled data의 Pseudo-Label로 가정해서 unlabeled data를 사용하는 방법

🍀

그렇다면 self training과 Semi-supervised Learning의 차이는 뭘까

• Self-training: 레이블링 되어있지 않은 데이터를 이용해 모델 스스로 레이블링 되게 하는 것

• Semi-supervised Learning(준지도학습): 레이블링 된 데이터가 충분하지 않을 때, 레이블이 없는 데이터도 함께 이용하여 모델을 학습시키는 방법

➡️ 결론적으로는 둘 다 labeling 된 데이터가 부족한 문제를 해결하기 위해 고안된 방법

※ Knowledge Distillation란(지식 증류)

: 큰 네트워크(Teacher network) 의 지식을 실제로 사용하고자 하는 작은 네트워크(Student network) 에게 전달하는 것

: 작은 네트워크도 큰 네트워크와 비슷한 성능을 낼 수 있도록, 학습 과정에서 큰 네트워크의 지식을 작은 네트워크에게 전달하여 작은 네트워크의 성능을 높이겠다는 목적을 지님

6. Conclusion

• 우리의 연구에서 중요한 기여는 Noisy Student Training이 컴퓨터 비전 모델의 견고성을 향상시킨다는 것을 보여준 것이라고…

• 끝!

 

 

 

7. Reference

https://light-tree.tistory.com/196

https://byeongjokim.github.io/posts/Self-training-with-Noisy-Student-improves-ImageNet-classification/

https://www.youtube.com/watch?v=l0jdNn5AGmo&t=900s

https://www.youtube.com/watch?v=q7PjrmGNx5A&t=593s

https://velog.io/@dust_potato/SSL-Paper-ReviewSelf-training-1.-Semi-supervised-Learningby-Entropy-Minimization-NIPS-2004