분류 전체보기 검색 결과
205 개의 검색 결과가 있습니다.
Studies/Knowledges

Transformers in Vision - (1) Attention & Transformer

Transformer가 computer vision에서 어떻게 쓰였는지, 관련 모델이 어떻게 발전하고 있는지 여러 포스팅에 걸쳐서 알아보고자 한다. 이번 포스팅에서는 가장 중요한 기초 내용인 attention과 transformer에 대해 알아볼 것이다. Transformer는 흔히 딥러닝의 기초라고 말하는 CNN, RNN 등과 같이 neural network 중 하나인데, 조금 다른 형태를 갖는다. 이 구조와 동작 원리를 이해하기 위해 필요한 개념이 attention이다. 목차 Introduction 우선 대표적인 neural network인 CNN, GNN, RNN의 inductive bias를 정리해보자. Inductive bias란, 딥러닝 모델이 본 적 없는 데이터에 대해서도 좋은 성능을 보이도..

2022. 11. 21. 15:36
Studies/ML with Graphs

How Expressive are Graph Neural Networks? - GCN, GraphSAGE and "GIN"

연구를 하면서 머신러닝에 사용되는 Graph에 관해 알아둘 필요가 있어, 관련 기초 내용을 알차게 다루는 Stanford CS224W 강의를 수강하고, 내용을 정리하려 한다. 유튜브 강의 링크는 다음과 같다. https://www.youtube.com/playlist?list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn Stanford CS224W: Machine Learning with Graphs This course covers important research on the structure and analysis of such large social and information networks and on models and algorithms that abstract ... w..

2022. 11. 21. 03:36
Computer Science, Programming/Git, Docker, Server, Linux

[X11 Forwarding] 원격 서버 상의 Docker 컨테이너의 화면을 로컬(맥)에 띄우기 - not completed

원격 서버에서 docker를 활용하여 모델 학습 및 검증을 하는데, GUI가 없어서 화면을 띄워 visualization을 할 수가 없다. 대부분 jupyter 환경에서 띄워볼 수는 있지만, open3d의 경우에는 이마저도 거의 불가능하다. 따라서, container의 화면을 local(맥)에서 띄우는 방법을 알아보고자 한다. XQuartz Installation 리눅스에서의 GUI(Graphic User Interface)는 프로그램의 개념이다. 즉, 리눅스 커널 위에 GUI 역할을 해주는 프로그램인 Xorg 등을 얹어둔 형태이다. 이러한 원격 display 정보(X Window)를 맥에 받아오기 위해 필요한 프로그램이 바로 XQuartz이다. 먼저, 맥에서 다음 링크에 들어가 XQuartz를 다운받고..

2022. 11. 17. 03:27
Research/Implementation

Wandb로 쉽게 학습 과정 visualization하기!

학습 과정을 visualization하는 대표적인 방법은 Tensorboard와 Wandb가 있다. PyTorch에서도 Tensorboard를 지원하게 됨으로써 논문의 코드를 보면 tensorboard를 사용하는 경우가 많은데, 추가로 입력해주어야 할 코드가 많아 복잡하다는 단점이 있다. 반면, Wandb는 훨씬 간단하게 학습 과정을 visualize할 수 있다. 사실 Wandb는 학습 과정을 tracking하여 모델을 튜닝할 때에도 유용하게 사용할 수 있다. 그 방법을 알아보자. 목차 Wandb란? Wandb(Weights & Biases)란, 머신러닝 experiment tracking tool이다. 위 사진에서와 같이 다음과 같은 주요 기능이 있다. Experiments Experiment trac..

2022. 11. 15. 19:43
Research/Implementation

ply파일 구조 살펴보기

point cloud 등 3D 데이터를 다루다 보면 .ply 확장자를 갖는 파일을 자주 마주친다. 매번 까먹는 파일의 format을 정리해두고, 확실히 알아보려 한다. 목차 PLY란? PLY는 polygon file format, 혹은 stanford triangle format으로 알려진 파일 포맷이다. 기본적으로 3D 스캐너로 얻은 3차원 데이터를 저장하기 위한 포맷이다. 크게 ASCII, Binary의 두 종류로 나뉘는데, 내가 다룰 파일은 대부분 ASCII 버전일 것이다. PLY Format 파일이 어떤 형식으로 이루어져있는지 알아보자. 다음은 3RScan이라는 3차원 실내 환경을 담은 데이터의 일부이다. ply파일의 첫 번째 줄은 ASCII와 binary 버전 둘 다에서 text 형태로 나타나며..

2022. 11. 11. 00:26
Studies/ML with Graphs

Graph Neural Networks (5) - Dataset Splitting (train/validation/test dataset)

연구를 하면서 머신러닝에 사용되는 Graph에 관해 알아둘 필요가 있어, 관련 기초 내용을 알차게 다루는 Stanford CS224W 강의를 수강하고, 내용을 정리하려 한다. 유튜브 강의 링크는 다음과 같다. https://www.youtube.com/playlist?list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn Stanford CS224W: Machine Learning with Graphs This course covers important research on the structure and analysis of such large social and information networks and on models and algorithms that abstract ... w..

2022. 11. 9. 19:50