Fundamentals/AI Fundamentals 검색 결과

23 개의 검색 결과가 있습니다.

Fundamentals/AI Fundamentals

딥러닝 기초 - RNN (2)

목차 자주 잊어버리는 딥러닝 기초 내용을 여러 포스팅에 걸쳐 간단하게 정리해보려 한다. 다룰 내용은 크게 아래와 같다. Introduction Elements of ML Multi-layer Perceptron Model Selection CNN GNN RNN 이번에는 이전 글에 이어 RNN의 단점을 보완한 LSTM과 GRU에 대해 알아볼 것이다. 먼저 RNN의 feed-forward 수식과 single unit 그림은 다음과 같다. (activation function은 tanh 대신 다른 것을 사용할 수 있다.) \( \mathbf{h}_t = f_{w_h} (\mathbf{x}_t, \mathbf{h}_{t-1}) \) \( \mathbf{o}_t = g_{w_o} (\mathbf{h}_t) \) ..

2022. 12. 14. 03:23

Fundamentals/AI Fundamentals

딥러닝 기초 - RNN (1)

목차 자주 잊어버리는 딥러닝 기초 내용을 여러 포스팅에 걸쳐 간단하게 정리해보려 한다. 다룰 내용은 크게 아래와 같다. Introduction Elements of ML Multi-layer Perceptron Model Selection CNN GNN RNN 이번 포스팅에서는 RNN에 대해 간략히 알아보자. Introduction Recurrent Neural Network(RNN)는 sequential data를 다루는 데 특화된 딥러닝 네트워크이다. Sequential Data Sequential data에는 다음과 같은 종류가 있다. Time-series data Text data Reinforcement learning/planning (control problem) Image frames in..

2022. 12. 11. 22:11

Fundamentals/AI Fundamentals

딥러닝 기초 - GNN

목차 자주 잊어버리는 딥러닝 기초 내용을 여러 포스팅에 걸쳐 간단하게 정리해보려 한다. 다룰 내용은 크게 아래와 같다. Introduction Elements of ML Multi-layer Perceptron Model Selection CNN GNN RNN 딥러닝 강의에서는 보통 위 내용 중 GNN을 뺀 나머지 내용에 대해 다룬다. (적어도 내가 접했던 딥러닝 강의들은 그러했다.) 머신러닝 기초(regression, classification), MLP, CNN, RNN, Generative model 등.. 하지만, graph 데이터를 다루는 GNN 또한 기본적인 내용은 알아둘 필요가 있다. 그 이유를 GNN이 갖는 inductive bias와 관련하여 이 포스팅에서 알아보자. Graph Data ..

2022. 12. 11. 20:46

Fundamentals/AI Fundamentals

딥러닝 기초 - CNN

목차 자주 잊어버리는 딥러닝 기초 내용을 여러 포스팅에 걸쳐 간단하게 정리해보려 한다. 다룰 내용은 크게 아래와 같다. Introduction Elements of ML Multi-layer Perceptron Model Selection CNN GNN RNN CNN은 이미지 데이터를 주로 다루는 딥러닝 네트워크로, 컴퓨터 비전 분야에서 많이 쓰인다. CNN의 개념을 간단히 알아보자. Introduction Image Data 이전까지(MLP까지)는 data point \(\mathbf{x} \in \mathbb{R}^d\), 즉 단순히 d차원의 1d 텐서의 데이터를 다루었다. 하지만, 이미지 데이터 \(\mathbf{x} \in \mathbb{R}^{H \times W \times C}\)는 보통 3차..

2022. 12. 11. 20:46

Fundamentals/AI Fundamentals

딥러닝 기초 - Model Selection

목차 자주 잊어버리는 딥러닝 기초 내용을 여러 포스팅에 걸쳐 간단하게 정리해보려 한다. 다룰 내용은 크게 아래와 같다. Introduction Elements of ML Multi-layer Perceptron Model Selection CNN GNN RNN Model Selection 앞선 포스팅에서 머신러닝의 고질적인 문제중 하나로 overfitting, underfitting 문제와 data mismatch 문제를 언급했다. Training error를 낮추기 위해 \( \underset{\mathbf{w}}{\min} \mathcal{L} (\mathcal{M}(\mathbf{w}), \mathcal{D}_{\text{train}}) \)로 optimization을 진행하고, training e..

2022. 12. 11. 02:50

Fundamentals/AI Fundamentals

딥러닝 기초 - Multi-layer Perceptron (MLP) (2)

자주 잊어버리는 딥러닝 기초 내용을 여러 포스팅에 걸쳐 간단하게 정리해보려 한다. 다룰 내용은 크게 아래와 같다. Introduction Elements of ML Multi-layer Perceptron Model Selection CNN GNN RNN 목차 Backpropagation and Gradient 이전 글에 이어 Backpropagation과 Gradient에 대해 알아보자. 딥러닝에서는 loss function을 통해 모델이 예측한 값과 실제 값 간의 차이를 구하고, 이를 줄이기 위해 gradient descent라는 방법을 사용한다. Gradient descent란, Fig 1과 같이 loss function을 나타냈을 때, gradient(경사)를 따라 loss 가장 작은 곳(opti..

2022. 12. 10. 20:44