본문 바로가기
728x90
반응형
LG Aimers 3기 수료 2023. 12. 31.
Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization CAM(Class Activation Maps) 이란? Global Max Pooling(GMP) vs Global Average Pooling(GAP) : 전체 영역 내에서 가장 큰 값을 사용하는 방법을 Global Max Pooling(GMP)라고 함 : 반면, 모든 값을 고려하여 평균값을 사용하는 방법을 Global Average Pooling(GAP)이라고 함 : 보통 CNN의 구조에서는마지막 feature map을 flatten하여 1차원 벡터로 만든 뒤 이를 Fully Connected Netowork를 통과하여 softmax로 classification을 했었음. : 이 FC layer는 parameter의 개수를 매우 커지도록 만들기 때문에 overfitting 위험이 증가할 수 있고, F.. 2023. 8. 13.
STAR: Sparse Trained Articulated Human Body Regressor(2020) 0. ABSTRACT 1. 훨씬 간결한 모델 (매개변수의 수 감소) : SMPL보다 80% 더 작은 매개변수만을 사용 2. 체형에 따라 변하는 형태 및 포즈를 학습시킴 (체형 및 BMI 활용) : SMPL의 경우, 체형에 따른 다양한 형태의 변형을 고려하지 않았음 (체형에 상관없이 다 동일한 근육 형태로 표현) ex) 누군가 팔을 구부렸을 때, 각 체형마다 팔꿈치 주변의 피부나 근육의 형태가 더 다르게 변형함(골격이 더 큰 사람, 근육이 더 많거나 적은 사람..) 3. 학습 데이터를 늘림 :일반화 성능 개선 결론: 소형 모델이며, 새로운 체형에 대해 더 잘 일반화됨, SMPL 대체 모델로 사용 가능 1 INTRODUCTION 해당 관절(무릎이면 무릎까지만) 주위 부분까지만 학습시킴 : 기존 SMPL 같은.. 2023. 8. 10.
[4주차] <주제 변경> 체형별 옷입히기 사전 조사 https://github.com/lijiaman/awesome-3d-human - 대신 코드가 없는게 많음 ㅠㅠ https://github.com/lzhbrian/Clothes-3D 기존대로 체형에 따라 옷입히기를 할 것인지 (SMPL + 3D clothes화 + 합성 + 디테일 ) 옷 입은 사람의 형태를 따서 옷 디자인을 바꾸는 것으로 갈지 (이 친구는 조금 다른 방안)⇒ + upgrade 버전: 우리가 직접 옷을 그린 다음, 옷의 디자인까지 따서 새로 입히는 것(희망 사항) 1번으로 선택할 경우) input으로 사진 받고, 모델 돌려서 원하는 옷 입히는걸로 보여주는거? 2번으로 선택할 경우) 옷 그리게 해서 디자인을 입혀서 보여주는 정도?가 될 듯 (아이디어 제시일 뿐 - 찾진 않음) 1. 체형별 .. 2023. 8. 10.
DINO: Emerging Properties in Self-Supervised Vision Transformers (2021) Self Supervised learning https://brunch.co.kr/@b047a588c11b462/45 : 비지도 학습 방식의 일종으로서 라벨링되지 않은 데이터셋을 활용하여 인공지능이 스스로 분류작업을 수행하도록 함 : 스스로 태스크를 설정하여 모델을 학습한다는 점에서 기존의 비지도 학습 방식과 차이가 존재하며, 인터넷상 크롤링을 통해 수집할 수 있는 텍스트, 이미지, 비디오 등 다양한 종류의 데이터셋을 활용할 수도 있음 : 모델이 확장되기 위해서는 대량의 데이터를 필요로 하지만, 라벨링된 데이터를 지속적으로 확보하기 위해서는 많은 비용이 요구된다는 단점이 존재 : 자기 지도 학습은 라벨링되지 않은 학습 데이터만 확보하더라도 모델의 규모를 증가시킬 수 있으며 이에 따라 정확도 역시 향상시킬.. 2023. 8. 10.
Expressive Body Capture: 3D Hands, Face, and Body from a Single Image SMPL-X란? : 단일 이미지로부터, 신체뿐만 아니라, 손과 얼굴을 통합적으로 3D 형태의 신체로 표현하는 모델 좌: SMPL, 중간: SMPL+H, 우: SMPL-X 0. ABSTRACT : 3D 스캔을 사용하여 인간의 몸체에 대한 새로운 통합된 3D 모델인 SMPL-X를 훈련 : SMPL을 확장해서 손과 표정까지 구현하고자 함 : SMPL-X는 얼굴, 손, 목, 신체 등 다양한 인체 형태와 자세를 포함하는 많은 매개변수를 가지고 있는데, 이를 정확하게 추정하기 위해서는 각 매개변수에 대한 이미지 정보와 관절 정보를 결합해서 최적화를 수행해야 한다는 문제점 존재 : 따라서 기존 SMPLify 알고리즘(2D에서 관절정보 추출해서 학습시키는)을 활용해서 SMPL-X 모델을 최적화해서 적합시키는 방법을 제.. 2023. 8. 4.
728x90
반응형

티스토리툴바