본문 바로가기

728x90

All Post105

LLM의 모든 것 1 [RAG-Retrieval Augmented Generation] 1. RAG - Retrieval Augmented Generation : 검색 증강 생성 : 새로운 지식에 관한 텍스트 데이터 소스를 Embedding해서 Vector stores에 저장하고, 프롬프트 구성을 진행할 때 외부 데이터 소스로부터 가져온 텍스트 데이터를 함께 이용해서 프롬프트를 구성한 뒤 LLM으로부터 답변을 얻어낸다. 사용자 질문 질문 임베딩 및 내 데이터도 임베딩 진행 이후, 벡터 DB(저장소)에 임베딩된 데이터를 저장 질문을 이용해 저장해놓은 DB 저장소에서 검색 지시 프롬프트 구성 + 질문(query 재생성) + 검색 결과 n개 > 언어모델 GPT에게 제공 언어 모델이 답변 생성 답변 출력 2-2) 임베딩 모델 : AI가 사람의 언어를 이해하기 위한 방법으로 숫자로 변환 해주는 AI.. 2024. 3. 5.

[Transformer] train.py, dataset.py, config.py, Mask 구현하기 - 2 (Pytorch) 지난 시간에 이어, 오늘은 나머지 train.py, config.py, dataset.py 파일을 구현했다. https://www.youtube.com/watch?v=ISNdQcPhsts 이 분 코드를 바탕으로 구현하였습니다. 1. Dataset.py 구현 1-1. Bilingual Dataset 사용한 데이터셋은 Hugging Face에서 제공하는 opus_books Dataset을 활용하였다. https://huggingface.co/datasets/opus_books/viewer/en-it opus_books · Datasets at Hugging Face { "en": "Nor could I pass unnoticed the suggestion of the bleak shores of Laplan.. 2024. 2. 21.

[Transformer] 아키텍처 구현하기 - 1 (Pytorch) Transformer는 논문으로만 읽어봤지, 코드로 뜯어보는 것은 처음이다. 논문 저자들은 정말 천재가 맞는 것 같다. 유튜브를 참고해서 코드를 구현하였으며, 이번 포스팅은 오로지 아키텍처에만 초점을 맞췄다. 데이터 부분은 다음주에 올릴 예정. 1. Input Embedding 구현하기 import torch import torch.nn as nn import math #Input embedding class InputEmbeddings(nn.Module): #d 차원 설정, vocab size 설정(얼마나 많은 단어 넣을건지) def __init__(self,d_model : int, vocab_size : int): super().__init__() self.d_model = d_model self... 2024. 2. 17.

[UNet] copy and crop 코드 구현 및 아키텍처 구현하기 (Pytorch) 다른 블로그들에서는 padding을 2로 맞춰서, 따로 copy and crop을 하진 않았지만, 해당 논문의 그림을 보고 재현하기 위해 padding=0으로 설정해서 본 아키텍처를 새로 구축하였다. import torch.nn as nn import torch.nn.functional as F import torch import os import numpy as np from torchvision import transforms #https://sd118687.tistory.com/8 (Mirroring extrapolate) class UNet(nn.Module): #copy and crop 함수 정의 #batch_size, channels, height, width def copy_and_crop(.. 2024. 2. 8.

TOBIG's [심층학습] 제5장 기계 학습의 기초 5.1 학습 알고리즘 5.1.1 과제 T - 기계학습의 과제는 일반적으로 기계 학습 시스템이 견본을 처리하는 방식을 서술하는 현태로 정의된다. 여기서 견본이란 기계 학습 시스템의 처리 대상인 어떤 물체나 사건으로부터 정량적으로 측정한 특징(feature들의 집합)을 의미한다. 예를 들어 견본 디지털 이미지의 특징들은 이미지를 구성하는 픽셀값이다. 다음은 가장 흔한 기계 학습 과제 몇 가지이다. 1. 분류 2. 결측 입력이 있는 자료의 분류 : 입력 벡터의 모든 측도가 항상 보장이 없을 때는 분류가 더 어려워진다. 따라서, 모든 관련 변수에 관한 확률분포를 학습하고, 결측값들을 주변화해서 분류 문제를 풀기도 한다. 3. 회귀 4. 전사(옮겨쓰기) : 해당 종류의 과제에서 기계 학습 시스템은 비교적 구조적이.. 2024. 2. 2.

[TOBIG's] 심층학습 - 제4장 수치계산 일반적으로 기계 학습 알고리즘에는 대량의 수치 계산이 필요하다. 어떤 반복적인 과정을 통해 정답의 추정값을 계속 갱신함으로써 문제를 풀지만, 유한한 메모리를 가진 디지털 컴퓨터는 실수를 정확하게 표현할 수 없기에 약간의 한계가 존재한다. 4.1 넘침과 아래넘침 - 아래넘침(underflow) : 0에 가까운 수가 반올림 때문데 정확히 0이 되는 것을 말한다. - 넘침(overflow) : 크기가 큰 수가 무한대 혹은 마이너스 무한대로 근사되는 것을 말한다. -> 이러한 문제를 해결하는데 쓰이는 함수가 바로 소프트맥스 함수이다. 멀티누이 분포를 따르는 확률들을 예측하는데 흔히 사용된다. 4.2 나쁜 조건화 - 조건화 : 입력의 작은 변화에 대해 함수가 얼마나 급하게 변하는지를 뜻하는 용어이다. 과학 계산에.. 2024. 2. 2.

이전 1 2 3 4 5 ··· 18 다음

728x90

티스토리툴바