전체 글 검색 결과
205 개의 검색 결과가 있습니다.
Research/Implementation

딥러닝 실험을 효율적으로 하기 위한 Hydra 사용법

목차 딥러닝 모델을 구현하여 학습시킬 때, hyperparameter에 따라 여러 번의 실험을 해주어야 한다. 이때, "config.yaml"라는 파일을 생성하여 학습 코드 실행에 필요한 argument들(hyperparameter 뿐만 아니라 dataset path 등 여러 설정 값들)을 관리해주면 편하게 실험을 진행할 수 있다. 이번 글에서는 이렇게 설정 파일을 통해 실험을 효율적으로 할 수 있게 해주는 tool인 facebook에서 공개한 hydra라는 프레임워크의 사용법을 간단히 정리해보려 한다. https://hydra.cc Hydra | Hydra A framework for elegantly configuring complex applications hydra.cc Hydra Hydra는 C..

2023. 10. 12. 19:13
Research/Implementation

Tensor의 shape을 가독성있게 변환하는 einops 사용법

목차  인공지능 연구를 하면서 코딩을 하다보면 Numpy, PyTorch, Tensorflow 등의 tensor의 shape을 변환해주는 경우가 매우 많다. 필자의 경우 PyTorch를 가장 많이 사용하는데, reshape(), view(), squeeze() 등등 tensor shape을 변환하는 함수의 종류도 너무 다양하고, 가독성도 떨어진다. 또한 변환된(또는 변환 할) tensor의 현재 shape이 어떤지 알 수 없기 때문에 디버깅할 때에도 매우 불편하다.우연히 이를 깔끔하게 해결해줄 수 있는 einops라는 라이브러리를 알게되어 자주 쓰는 함수 위주로 내용을 간단히 정리해보려 한다.우선, 공식 홈페이지에 가보면 document와 함께 추가적인 정보를 알 수 있다.https://einops.ro..

2023. 9. 1. 21:09
Studies/Generative Models

Score-based Generative Model 파헤치기!

목차 이전까지 대표적인 생성모델인 AutoRegressive Models(ARMs), Flow-based models, Variational Auto-Encoders (VAEs), Generative Adversarial Networks(GANs)를 살펴보았다. 이번 글에서는 최근에 diffusion-based models와 함께 관심을 끌고 있는 score-based model에 대해 알아보려 한다. 사실 score-based model이 처음 제안된 시기는 2019년(Generative Modeling by Estimating Gradients of the Data Distribution, NeurIPS), 2021년(Score-based Generative Modeling through Stocha..

2023. 8. 29. 00:44
Studies/Generative Models

Generative Adversarial Networks (GANs) 파헤치기!

목차  앞서 대표적인 심층 생성 모델인 AutoRegressive Models (ARMs), Flow-based Models와 Latent variable models 중 VAE까지 살펴보았다. 최근 내가 연구하고 있는 주제에서는 VAE, Diffusion, GAN 기반의 모델이 활발하게 이용된다. 특히 diffusion의 우수한 성능은 따로 설명이 필요 없을 정도로 유명하고(실제로 세계적인 학회에 가면 과장 조금 보태서 30~40% 정도는 diffusion 관련 논문이 쏟아지고 있다.), VAE와 GAN을 기반으로 하는 다양한 우수한 성능을 보이는 모델이 나오고 있다.이번 포스팅에서는 GAN을 수식과 함께 깊이있게 다뤄보려 한다. 내용은 이전 글과 마찬가지로 대부분 'Deep Generative Mod..

2023. 8. 27. 19:48
Studies/Knowledges

Geometry와 Topology의 개념과 차이

목차 3D Vision을 연구하고 있는 입장에서, 논문을 읽다 보면 'geometry'라는 단어와 'topology'라는 단어가 자주 보인다. 둘 다 '기하학적인 개념'이라고 대충 알고 지나갔었는데, 두 개념의 차이를 조금 더 확실히 알아보고 정리해두려 한다. Geoemtry란? Topology란? Geometry와 topology는 공통적으로 '공간'을 수학적으로 해석하는 개념이다. 하지만 깊이 파고들면 명확한 차이점이 있다. 우선 각각의 정의를 살펴보자. Geometry(기하학)란, 공간에 존재하는 점(points), 선(lines), 면(surfaces), 각도(angles), 입체(solids) 등의 특성(properties), 치수(measurement), 서로 간의 관계(relations)를 ..

2023. 8. 17. 15:16
Studies/Generative Models

Variational Auto-Encoder (VAE) 파헤치기! (2)

목차 앞서 대표적인 심층 생성 모델인 AutoRegressive Models (ARMs), Flow-based Models 두 가지를 살펴보았다. 하지만, (적어도 내가 연구하고 있는 분야에서는) 최근에는 VAE, Diffusion, GAN 기반의 모델이 활발하게 이용된다. 특히 diffusion의 우수한 성능은 따로 설명이 필요 없을 정도로 유명하고(실제로 세계적인 학회에 가면 과장 조금 보태서 30~40% 정도는 diffusion 관련 논문이 쏟아지고 있다.), VAE와 GAN을 기반으로 하는 다양한 우수한 성능을 보이는 모델이 나오고 있다. VAE는 latent variable을 다룰 수 있다는 점에서 최근에는 생성모델 자체로 쓰이기 보다는 다양한 아키텍쳐들의 기반(base)으로 많이 사용되고 있다..

2023. 8. 13. 03:34