LLM의 모든 것 3 [PEFT-Parameter-efficient fine Tuning]

PEFT(Parameter-efficient fine Tuning)

---

: 기존의 경우, 사전 학습된 LLM을 다운스트림 데이터셋에 따라 파인 튜닝하면 사전학습된 모델을 그대로 사용하는 것보다 확실한 성능 향상을 보여준다.

: 하지만, 모델이 점점 커짐에 따라 모델 전체를 Fine tuning 하는 것은 불가능!

: 메모리 저장 공간 및 계산 비용에 대한 문제점도 존재

⇒ 해당 문제들을 해결하기 위해 나온 것이 PEFT 이다.

💡 PEFT의 역할 : 대부분의 파라미터를 프리징하고 일부의 파라미터만을 파인튜닝함으로써 저장공간과 계산능력을 대폭 줄인다.

catastrophic forgetting(파국적 망각)의 극복 : Fine tuning 시 발생되는 문제로 새로운 테스크를 학습함에 따라 기존 테스크에 대한 학습 정확도가 떨어지는 현상을 의미

: 새로운 데이터로 Fine-tuning을 시키게 되는데, 과거 데이터를 잊지 못하기 때문에 오히려 새로운 섞인 답이 나오게 되는 현상

1. LoRA: LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
2. Prefix Tuning: P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks
3. Prompt Tuning: The Power of Scale for Parameter-Efficient Prompt Tuning
4. P-Tuning: GPT Understands, Too