Studies/Generative Models 검색 결과
13 개의 검색 결과가 있습니다.
Studies/Generative Models

Generative Model Learning (2) - Monte Carlo Estimation

목차 이번 포스팅에는 Pre-knowledges for Generative Models (1) 글에 이어 Monte Carlo Estimation에 대해 다뤄보려 한다. Pre-knowledges for Generative Models (1) - KL-divergence, Maximum likelihood 목차 이번 포스팅에서는 딥러닝 기반의 generative model의 학습 과정을 배우기 위해 필요한 기초 지식들을 정리해보려 한다. 이제까지 \(p(x)\)를 어떻게 표현할지를 알아보았는데, 이번 장에서는 어 jjuke-brain.tistory.com Learning Density Estimation Monte Carlo Estimation Monte Carlo estimation은 random sa..

2023. 4. 18. 13:55
Studies/Generative Models

Generative Model Learning (1) - KL Divergence, Maximum Likelihood

목차 이번 포스팅에서는 딥러닝 기반의 generative model의 학습 과정을 배우기 위해 필요한 기초 지식들을 정리해보려 한다. 이제까지 \(p(x)\)를 어떻게 표현할지를 알아보았는데, 이번 장에서는 어떻게 학습할지를 알아보자. Learning a Generative Model Generation (Sampling) : Data \(\mathbf{x}\)의 distribution \(p(\mathbf{x})\)로부터 새로운 데이터를 샘플링 하는 것을 말한다. \(\mathbf{x}_\text{new} \sim p(\mathbf{x})\) Density estimation (Anomaly detection) : Data \(x\)가 (예시에서) 강아지처럼 보인다면 \(p(x)\)가 높을 것이고, 아..

2023. 4. 17. 19:20
Studies/Generative Models

Autoregressive (Generative) Models (2)

목차 이전 글에 이어, autoregressive generative model에 어떤 모델이 있는지 좀 더 살펴보자. 다음은 다양한 deep generative model 의 비교 표이다. Autoencoder based ARM Autoregressive Models (ARM) vs Autoencoders (AE) Autoencoder 먼저 autoencoder에 대해 간단히 알아보고 비교해보자. Autoencoder는 encoder \(e(\cdot)\)와 decoder \(d(e(x)) \approx x\)의 구조를 갖는다. 예를 들어 Fig 2에서 encoder는 \(e(\mathbf{x}) = \sigma(W_2 ( W_1 \mathbf{x} + b_1 ) + b_2)\))와 decoder \(..

2023. 4. 17. 17:10
Studies/Generative Models

Autoregressive (Generative) Models (1)

목차 이번 포스팅에서는 생성 모델 중 하나인 autoregressive model에 대해 알아보자. 다음은 다양한 deep generative model 의 비교 표이다. Autoregressive Models Autoregressive model(ARM)은 말그대로 autoregressive, 즉 이전 input data를 활용하여 현재 input과 관련된 연산(modeling probability distribution)을 하는 방법으로 \(p(\mathbf{x})\)를 모델링한다. \( p(\mathbf{x}) = p(x_0) \prod\limits_{i=1}^D p(x_i | \mathbf{x}_{

2023. 4. 7. 04:24
Studies/Generative Models

Generative Approach(Naive Bayes Classifier) vs Discriminative Approach(Logistic Regression)

목차 이전 포스팅에서 생성모델의 개요와 이해를 위한 기초 지식까지 알아보았다. 이번 포스팅에서는 머신러닝 모델의 두 가지 종류인 Naive Bayes classifier로 대표되는 generative model의 접근방법과 Logistic regression으로 대표되는 discriminative model의 접근방법을 자세히 비교해보자. 이전에 언급했듯, classification task에서 두 모델의 목적은 데이터 \(x\)와 class label \(y\)에 대해 posterior \(p(y|x)\)를 예측한다는 공통적인 목적을 갖고 있으나, 그 접근 방법이 다르다. Bayes Network 우선 상대적으로 익숙한 logistic regression은 제쳐두고, bayes network에 대해 알..

2023. 4. 4. 03:12
Studies/Generative Models

Introduction to Deep Generative Models (2)

목차 이번 포스팅에서는 deep generative model이 어떻게 분류되는지 high level에서 알아보고, 이러한 generative model을 공부하기 앞서 알아두어야 할 기본 지식을 간단히 복기해보자. Taxonomy of Deep Generative models Deep generative model은 학습 방식에 따라 다음과 같이 분류할 수 있다. Autoregressive models (ex. PixelCNN) Flow-based models (ex. RealNVP) Latent variable models Implicit models (ex. GANs) Prescribed models (ex. VAEs) Energy-based models Diffusion model의 경우 굳이 분..

2023. 4. 3. 00:37