Studies/Knowledges 검색 결과

12 개의 검색 결과가 있습니다.

Studies/Knowledges

Recall, Precision, ROC, Top-k Recall(Recall at k) 개념 정리

논문에서 classification 관련 evaluation을 진행할 때, top-k recall(recall at k, R@k) 등의 형태로 recall이라는 metric을 많이 사용한다. 항상 헷갈리는 precision, recall 및 이와 관련된 개념을 정리해보고자 한다. 목차 Evaluation Metrics for Classification Classification task를 평가할 때에는 보통 두 가지 경우로 나누어 평가한다. Multi-class classification 먼저, multi-class classification의 경우에는 다음 식으로 간단히 accuracy를 계산할 수 있다. 하지만 data가 imbalance할 경우, accuracy가 높다고 무조건 좋은 것은 아니므로 ..

2022. 12. 7. 14:55

Studies/Knowledges

Transformers in Vision (2) - ViT, Swin Transformer

Transformer가 computer vision에서 어떻게 쓰였는지, 관련 모델이 어떻게 발전하고 있는지 여러 포스팅에 걸쳐서 알아보고자 한다. Computer vision domain에서 Transformer를 사용하는 대표적인 아키텍쳐는 Vision Transformer(ViT, An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale, Alexy et al., 2021)이고, 이를 보완한 것이 Swin Transformer(Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows, Liu et al., 2021)이다. Computer vision에서..

2022. 11. 29. 19:07

Studies/Knowledges

Transformers in Vision - (1) Attention & Transformer

Transformer가 computer vision에서 어떻게 쓰였는지, 관련 모델이 어떻게 발전하고 있는지 여러 포스팅에 걸쳐서 알아보고자 한다. 이번 포스팅에서는 가장 중요한 기초 내용인 attention과 transformer에 대해 알아볼 것이다. Transformer는 흔히 딥러닝의 기초라고 말하는 CNN, RNN 등과 같이 neural network 중 하나인데, 조금 다른 형태를 갖는다. 이 구조와 동작 원리를 이해하기 위해 필요한 개념이 attention이다. 목차 Introduction 우선 대표적인 neural network인 CNN, GNN, RNN의 inductive bias를 정리해보자. Inductive bias란, 딥러닝 모델이 본 적 없는 데이터에 대해서도 좋은 성능을 보이도..

2022. 11. 21. 15:36

Studies/Knowledges

Distance Metric between Point Sets - Chamfer distance(loss) and Earth Mover's distance(loss)

논문을 읽을 때 자주 등장하는 기초 개념 중, 이번 글에서는 Chamfer Distance(CD, Chamfer Loss)와 Earth Mover's Distance(EMD, Earth Mover's Loss)를 알아보려 한다. 본 내용은 2017년도 CVPR 학회에 발표된 논문 Haoqiang Fan et al., "A Point Set Generation Network for 3D Object Reconstruction from a Single Image"에서 참고했다. https://openaccess.thecvf.com/content_cvpr_2017/html/Fan_A_Point_Set_CVPR_2017_paper.html CVPR 2017 Open Access Repository Haoqian..

2022. 11. 3. 02:52

Studies/Knowledges

KL Divergence Loss and Loss functions of Generative Models

목차 논문을 읽을 때 자주 등장하는 기초 개념 중, 이번 글에서는 reconstruction loss와 Kullback-Leibler divergence loss에 대해 알아보려 한다. Kullback-Leibler Divergence Loss \(\mathcal{L}_{KL}\) 간단히 소개하자면, KL divergence loss는 두 분포가 서로 가까운지를 측정하는 개념이다. Mean Squared Error (MSE) loss는 실제 값과 예측 값 사이의 거리를 loss로 계산한 것이라면, KL divergence loss는 두 분포의 거리를 loss로 나타낸 개념이라고 생각하면 된다. 당연히 값이 낮을수록 두 분포는 비슷한 분포이다. Kullback-Leibler Divergence 주어진 ra..

2022. 11. 3. 01:14

Studies/Knowledges

Permutation Invariance, Permutation Equivariance

두 개념은 graph, scene generation task 주제와 관련된 논문을 읽다가 등장한 용어이다. Permutation invariance, permutation equivariance는 입력 벡터(또는 행렬)의 요소의 순서가 바뀔 때 그 결과가 어떻게 바뀌는지에 대한 개념이다. Permutation Invariance Permutation invariance란, 입력 벡터 요소의 순서와 상관 없이 같은 출력을 생성하는 특성이다. 이를 graph에 적용해보면, adjacency matrix의 행, 또는 열의 순서가 바뀌어도 output이 변하지 않는 특성을 말한다. \( f(\mathbf{P}\mathbf{A}\mathbf{P}^\top) = f(\mathbf{A}) \) \(\mathbf{A..

2022. 10. 19. 15:31