본문 바로가기
728x90
반응형

All Post105

Window 밀고 Linux 설치 [Docker 설치하기] Install Docker Desktop on Ubuntu Install Docker Desktop on Ubuntu Learn how to install, launch and upgrade Docker Desktop on Ubuntu. This quick guide will cover prerequisites, installation methods, and more. docs.docker.com for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done sudo apt-get update sudo apt-get install ca-.. 2024. 3. 22.
Window 밀고 Linux 설치 [Docker란?] Docker의 개념 컴퓨터의 기본 OS (Window/Mac) 외의 모든 것(python, cuda, cudnn, pytorch, huggingface, wandb, tmux, htop)을 각 상황에 세팅할 수 있게 하는 가상 환경의 개념 왜 이름이 Docker일까? 도커는 항만에서 일하는 부두 노동자 라는 뜻을 의미한다. 이렇게 규격화된 컨테이너를 옮기고 관리하는 작업을 수행. 컴퓨터에서도 도커는 규격화된 컨테이너 이미지를 메모리상에 띄우거나, 컨테이너 내부에서 작업한 내용을 다시 이미지로 수정해서 반영하는 등의 역할을 하는 소프트웨어를 칭한다. 컴퓨터에서도 마찬가지로 규격화된 컨테이너 안에는 실행할 수 있는 애플리케이션과, 이를 위한 라이브러리, 환경설정 등이 들어 있어 컨테이너만 잘 받아오면 누구든.. 2024. 3. 22.
Window 밀고 Linux 설치 [Linux & Anaconda 설치] 주요 설치 순서 Ubuntu(SSH) -> Anaconda -> Nvidia Driver(CUDA 설치 시 함께 설치됨) 설치 -> Cuda Toolkit 설치 -> Docker 설치 Linux란? : 윈도우나 MacOS 같은 컴퓨터의 운영체제 (OS : Operating System)를 말한다 : 운영체제란 컴퓨터 하드웨어를 구동하고 사용자의 요청을 받아 여러가지 응용프로그램을 실행시키는 프로그램을 말함 Window 밀고 Linux 설치하기 DELL 환경에서 포맷 진행 Dell 컴퓨터에서 Ubuntu Linux를 설치하는 방법 | Dell 대한민국 해당 링크 참고해서 포맷 진행 위의 DELL 환경에서 Disable 안한게 있어 포맷이 되지 않았음 아래 유튜브 참고해서 해결 Turn off RST | s.. 2024. 3. 22.
LLM의 모든 것 3 [PEFT-Parameter-efficient fine Tuning] PEFT(Parameter-efficient fine Tuning) : 기존의 경우, 사전 학습된 LLM을 다운스트림 데이터셋에 따라 파인 튜닝하면 사전학습된 모델을 그대로 사용하는 것보다 확실한 성능 향상을 보여준다. : 하지만, 모델이 점점 커짐에 따라 모델 전체를 Fine tuning 하는 것은 불가능! : 메모리 저장 공간 및 계산 비용에 대한 문제점도 존재 ⇒ 해당 문제들을 해결하기 위해 나온 것이 PEFT 이다. 💡 PEFT의 역할 : 대부분의 파라미터를 프리징하고 일부의 파라미터만을 파인튜닝함으로써 저장공간과 계산능력을 대폭 줄인다. catastrophic forgetting(파국적 망각)의 극복 : Fine tuning 시 발생되는 문제로 새로운 테스크를 학습함에 따라 기존 테스크에 대한 .. 2024. 3. 22.
LLM의 모든 것 2 [RAG-Retrieval Augmented Generation] LangChain(랭체인) : 대규모 언어 모델과 어플리케이션의 통합을 간소화하는 SDK(소프트웨어 개발 키트 - 개발 도구의 집합체) : 대규모 언어 모델(LLM)을 기반으로 애플리케이션을 구축하기 위한 오픈 소스 프레임워크 : 쉽게 말하면 LLM 밀키트라고 생각하는 것이 편하다. : LLM을 구성하기 위한 모듈들이 존재 모델 I/O : 언어 모델과의 인터페이스 프롬프트를 관리하고 공통 인터페이스를 통해 언어 모델을 호출하고 모델 출력에서 정보 추출 데이터 연결 : 애플리케이션별 데이터와의 인터페이스 데이터를 로드, 변환, 저장 및 쿼리하기 위한 빌딩 블록을 제공 체인 : 호출 시퀀스 구축 복잡한 애플리케이션은 LLM을 상호, 또는 다른 구성요소와 체인으로 연결해야 한다. 랭체인은 이렇게 ‘체인으로 연.. 2024. 3. 22.
LLM의 모든 것 1 [RAG-Retrieval Augmented Generation] 1. RAG - Retrieval Augmented Generation : 검색 증강 생성 : 새로운 지식에 관한 텍스트 데이터 소스를 Embedding해서 Vector stores에 저장하고, 프롬프트 구성을 진행할 때 외부 데이터 소스로부터 가져온 텍스트 데이터를 함께 이용해서 프롬프트를 구성한 뒤 LLM으로부터 답변을 얻어낸다. 사용자 질문 질문 임베딩 및 내 데이터도 임베딩 진행 이후, 벡터 DB(저장소)에 임베딩된 데이터를 저장 질문을 이용해 저장해놓은 DB 저장소에서 검색 지시 프롬프트 구성 + 질문(query 재생성) + 검색 결과 n개 > 언어모델 GPT에게 제공 언어 모델이 답변 생성 답변 출력 2. RAG Review 원리 : LLM의 한계를 보완하고자, 추가 정보를 줌으로써 보다 근거.. 2024. 3. 22.
728x90
반응형

티스토리툴바