본문 바로가기

Deep learning

 (7)
Score-Based / Diffusion Model[4] - NCSNv2 Introduction 이번에는 Score-based generative model의 두번째 논문인 NCSN v2에 대해서 리뷰를 해보고자 합니다. 본 논문은 Score-based generative model에 대한 이론적인 접근으로 하이퍼파라미터를 설정할 때 어떻게 접근해야 하는지에 대해서 정리합니다. 우선 Noise Conditional Score Network를 통해 score-based generative model에서의 가능성을 보여주었습니다. 또한, CIFAR-10 데이터셋에서도 좋은 성능을 보여주었습니다. 하지만, 이런 문제점에도 불구하고 고해상도를 생성했을 때 (from 64 $\times$ 64 to 256 $\times$ 256) poor한 성능을 보여준다고 합니다. 그래서 저자는 이..
Score-Based / Diffusion Model[3] - DDPM 이번 논문의 주인공은 DDPM입니다. Denoising Diffusion Probabilistic Model입니다. Score-based generative model이랑 거의 흡사하지만, 기본 개념이 조금 다릅니다. 따라서 이에 대해서도 한번 리뷰해보고자 합니다. 2023.12.11 Experiment 부분 추가 Diffusion model Diffusion model의 가장 기본적인 아이디어는 stochastic process입니다. 여기서 stochastic process란, time-dependent한 변수 $X_t$ 즉, 시간 t에 따라 변하는 변수 $X_t$를 stochastic process라고 합니다. 그 중에서 diffusion process는 확률 미분방정식의 한 솔루션이며, conti..
내가 보려고 정리하는 TF Lite [1] TF Lite TF Lite는 mobile, embeded, IoT devce와 같은 디바이스에서 on-device ML을 할 수 있도록 도와주는 툴이다. 일단 TF Lite에 대해서, 그리고 이를 가속하는 방법인 delegate에 대해 알아보려 한다. Key feature TF Lite는 on-device learning에 최적화 되어 latency, privacy, connectivity (no internet connection), size (model size), power consumption. 이 5가지를 최적화 해준다. Android, iOS, embeded linux, microcontroller 와 같은 multi-platform 지원한다. Java, Swift, Objective-C, ..
Score-Based / Diffusion Model[2] - NCSN 이전글 : https://ivdevlog.tistory.com/4 Score-Based Generative Model[1] - Score Network 들어가며... 최근 Score-Based Generative Model through Stochastic Differential Equation 이라는 논문이 나왔습니다. CIFAR10에서 FID Score 2.20으로 stylegan2-ada를 이기고 당당하게 CIFAR10에서 SOTA를 차.. ivdevlog.tistory.com -------------------------------- 2022.04.05 자로 많은 내용이 수정 및 추가되었습니다. -------------------------------- 이전 포스팅에서 Score-Based Mod..
Score-Based / Diffusion Model[1] - Score Network 들어가며... 최근 Score-Based Generative Model through Stochastic Differential Equation 이라는 논문이 나왔습니다. CIFAR10에서 FID Score 2.20으로 stylegan2-ada를 이기고 당당하게 CIFAR10에서 SOTA를 차지했습니다. 원래 GAN에 관심이 있었던 터라 논문을 읽어보았는데, 너무 신선하고 재밌게 읽었던 것 같습니다. 아마 이 분야를 좀 더 공부하지 않을까 싶어 블로그에 글을 남길 예정입니다. 찾아보니 Score Matching이라는 개념이 2005년도부터 있었다고 합니다. (최근 대학원 수업을 들으면서 GAN논문을 다시 읽게 되었는데, 내용에 Score Matching이 있었네요.. 옛날에는 아무것도 모르는 상태로 읽어..
PoseNet으로 알아보는 Pose estimation [2] 본 포스팅은 PoseNet official blog post [1]와 PoseNet의 single pose estimation을 구현하는데 참고한 논문들 [2,3]을 참고하여 구성하였다. PoseNet PoseNet은 2018년 Google에서 공개한 On-device 내 real-time pose estimation이 가능한 오픈소스이다. Posenet을 사용하면 single / multi pose를 예측 할 수있다. 하지만 본 포스트에서는 한명의 사람만 존재하는 single pose를 가정한다 (훨씬 쉽다). PoseNet에서 single pose를 예측하는건 크게 다음의 두가지 단계로 진행된다. RGB 형태의 입력을 모델에 넣고, 여러 output을 얻게 된다. RGB Input → CNN Mode..
PoseNet으로 알아보는 Pose estimation [1] Pose estimation이란 무엇인가, 간단한 연구 분류 영상으로부터 사람의 관절을 측정하는 기술은 어느샌가 Human Computer Interaction(HCI), Augmented Reality(AR), 스포츠 분석 등과 같은 분야에서 사용되기 시작하고 있다. 최근 카카오에서는 다음 그림 01. 과 같이 영상 기반의 코칭이 가능한 트레이닝 서비스를 출시하였다. 이렇듯 영상으로부터 사람의 관절을 측정하는 기술을 pose estimation이라 한다. Pose estimation은 이미지 / 영상으로부터 사람의 관절의 위치를 자동으로 측정(Localization)하기 위한 기술이다. 다음의 그림 02. 를 예로 들자면 pose estimation을 통해 한명의 사람으로부터 여러개의 관절 키포인트(K..

티스토리툴바