728x90 반응형 BodyNet: Volumetric Inference of 3D Human Body Shapes BodyNet이란? : 단일 이미지로부터 2D pose, segmentation 추출, 두 개의 정보를 활용해 3D pose를 학습, 이후, 3가지 정보에 RGB 정보까지 활용해 3D의 부피 기반 체형을 구성하는 Network를 말함 : end to end 형식 1. 입력 RGB 이미지는 먼저 2D 포즈 추정과 2D 신체 부위 세그멘테이션을 위한 하위 네트워크를 통과 2. 2D pose와 segmentation을 훈련 3. 학습된 2D pose와 Segmentation 가중치를 고정해서 3D pose를 훈련시킴 4. 이후, 이전의 모든 네트워크 가중치를 고정하고 3D 형태 network를 훈련 5. 추가 재프로젝션 손실로 형태 네트워크 훈련해서 부피 기반 형태 추정 작업에 대해 세밀 조정 6. 결합된 손.. 2023. 8. 3. mixup: Beyond Emprical Risk Minimization Mixup이 뭐야? : Beyond Emprical Risk Minimization - 경험적 위험 최소화를 넘어? 이게 도대체 뭔말인가 : mixup ⇒ data augmentaion 기법 :두 데이터를 선형적으로 결합해서 새로운 샘플을 생성 : 정말 쉽게 말하자면, 우리가 일반적으로 훈련, 예측과 같은 방법을 쓰면 과적합이 발생하기 마련임. : 왜냐? 훈련데이터만 보고 학습을 시키기 때문에, 당연히 학습한 모델은 학습 데이터셋에 편향됨. : 즉, 과적합이 난다는 말. 결국, 다른 조금만 다른 분포를 가지는 데이터셋에 적용만 해(Out of Distribution) 모델이 취약할 수 밖에 없음 : 따라서, 훈련 데이터셋만 학습 시키는게 아니라, 훈련 데이터셋의 근방 분포도 함께 학습을 시켜서 보다 더 .. 2023. 8. 3. SMPLify(Keep it SMPL): Automatic Estimation of 3D Human Pose and Shape from a Single Image SMPLify[Keep it SMPL] 이란? : 2D CNN(Deepcut)을 활용해 관절 위치를 뽑은 후, 3D SMPL에 적용해 3D Mesh를 구성하는 방식 요약(Abstract) : 이미지에서 인간의 3D 포즈와 형태를 자동으로 추정하고자 함 : CNN 기법 Deepcut을 활용, 3D SMPL의 결합 : Datasets의 경우, Leeds Spors, HumanEva, Human3.6M 사용 이점 및 특징(Introduction) : 이전 방식의 경우, 포즈 초점에만 맞췄고, 3D 형태를 무시했음 ➡️ 2D 이미지로부터 포즈와 형태를 모두 포함하는 3D 메쉬를 자동으로 추정하는 해결책을 제시함 Deepcut 활용해 2D 관절 추정 ※ DeepCut이란 📚 [참고] https://arxiv.or.. 2023. 7. 31. SMPL: A Skinned Multi-Person Linear Model 💡 SMPL: A Skinned Multi-Person Linear Model 목차 SMPL의 정의 SMPL 연구 목적 기존의 방법 및 한계 SMPL의 원리와 작동 최종 DMPL SMPL(Skinned Multi-Person Linear) 이란? [참고] ➡️ SMPL에 대한 간단한 설명 : skinned vertex 기반의 모델로서, 다양한 인간의 체형을 현실적으로 나타내고 자연스러운 자세에 따른 변형을 취할 수 있으며 연조직 움직임을 나타낸다. ※ skinned vertex: 스킨(피부)을 씌워진 뼈구조에 속한 메시의 정점 (뼈의 움직임에 따라 변형되는 정점) SMPL 연구의 목적 : 다양한 체형을 대표할 수 있는 실제적인 애니메이션 인간 신체를 만들고, 자연스러운 자세에 따라 자연스럽게 변형되며, .. 2023. 7. 28. [3주차] 건물 3D화 모델 찾기 GitHub - chrise96/3D_building_reconstruction: MSc Computer Science project. Automatically enhance CityGML LOD2 buildings with facade details, by using a panoramic image sequence and building footprint data. NOTE: Amsterdam Panorama API is currently offline. MSc Computer Science project. Automatically enhance CityGML LOD2 buildings with facade details, by using a panoramic image sequence and buil.. 2023. 7. 28. DETR: End-to-End Object Detection with Transformers 📝 본 논문에서는 object detection을 direct set prediction(일대일대응)으로 정의, transformer와 bipartite matching loss를 사용한 DETR(DEtection TRansformer)을 제안함. DETR은 COCO dataset에 대하여 Faster R-CNN과 비슷한 수준의 성능을 보임 추가적으로, self-attention을 통한 global information(전역 정보)를 활용함으로써 크기가 큰 객체를 Faster R-CNN보다 훨씬 잘 포착. 📝 1. Backbone(ResNet)을 입력해서 피처맵을 추출 2. 피처맵을 1x1 conv에 입력해서 flatten한 피처맵에 대해 positional encoding 구해서 더함 ※ spatial.. 2023. 7. 23. 이전 1 2 3 4 5 6 7 ··· 18 다음 728x90 반응형
