분류 전체보기 검색 결과
205 개의 검색 결과가 있습니다.
Fundamentals/AI Fundamentals

딥러닝 기초 - CNN

목차 자주 잊어버리는 딥러닝 기초 내용을 여러 포스팅에 걸쳐 간단하게 정리해보려 한다. 다룰 내용은 크게 아래와 같다. Introduction Elements of ML Multi-layer Perceptron Model Selection CNN GNN RNN CNN은 이미지 데이터를 주로 다루는 딥러닝 네트워크로, 컴퓨터 비전 분야에서 많이 쓰인다. CNN의 개념을 간단히 알아보자. Introduction Image Data 이전까지(MLP까지)는 data point \(\mathbf{x} \in \mathbb{R}^d\), 즉 단순히 d차원의 1d 텐서의 데이터를 다루었다. 하지만, 이미지 데이터 \(\mathbf{x} \in \mathbb{R}^{H \times W \times C}\)는 보통 3차..

2022. 12. 11. 20:46
Fundamentals/AI Fundamentals

딥러닝 기초 - Model Selection

목차 자주 잊어버리는 딥러닝 기초 내용을 여러 포스팅에 걸쳐 간단하게 정리해보려 한다. 다룰 내용은 크게 아래와 같다. Introduction Elements of ML Multi-layer Perceptron Model Selection CNN GNN RNN Model Selection 앞선 포스팅에서 머신러닝의 고질적인 문제중 하나로 overfitting, underfitting 문제와 data mismatch 문제를 언급했다. Training error를 낮추기 위해 \( \underset{\mathbf{w}}{\min} \mathcal{L} (\mathcal{M}(\mathbf{w}), \mathcal{D}_{\text{train}}) \)로 optimization을 진행하고, training e..

2022. 12. 11. 02:50
Studies/Knowledges

Inductive Bias란?

목차 딥러닝에 대해 깊이있게 배우고, 논문을 읽어보다 보니 종종 inductive bias라는 개념이 등장하는데, 확실한 이해를 위해 이 개념을 정리해두려 한다. 말로만 간단히 설명하다보니 헷갈릴 수 있는데, CNN, RNN, GNN을 다룬 다음 포스팅에서 그림과 함께 이해해보면 의미를 정확히 파악할 수 있을 것이다. CNN GNN RNN Inductive Bias란? Inductive bias의 정의는 학습 주체(컴퓨터)가 본 적 없는 input에 대해 output을 예측할 때 사용하는 가정을 말한다. 머신러닝의 최종 목표는 generalization, 즉 학습 데이터로 학습시킨 모델이 본 적 없는 데이터에 대해서도 예측(prediction, approximation)을 잘 해내는 것이다. 본 적 없는..

2022. 12. 11. 01:40
Fundamentals/AI Fundamentals

딥러닝 기초 - Multi-layer Perceptron (MLP) (2)

자주 잊어버리는 딥러닝 기초 내용을 여러 포스팅에 걸쳐 간단하게 정리해보려 한다. 다룰 내용은 크게 아래와 같다. Introduction Elements of ML Multi-layer Perceptron Model Selection CNN GNN RNN 목차 Backpropagation and Gradient 이전 글에 이어 Backpropagation과 Gradient에 대해 알아보자. 딥러닝에서는 loss function을 통해 모델이 예측한 값과 실제 값 간의 차이를 구하고, 이를 줄이기 위해 gradient descent라는 방법을 사용한다. Gradient descent란, Fig 1과 같이 loss function을 나타냈을 때, gradient(경사)를 따라 loss 가장 작은 곳(opti..

2022. 12. 10. 20:44
Fundamentals/AI Fundamentals

딥러닝 기초 - Multi-Layer Perceptron (MLP) (1)

자주 잊어버리는 딥러닝 기초 내용을 여러 포스팅에 걸쳐 간단하게 정리해보려 한다. 다룰 내용은 크게 아래와 같다. Introduction Elements of ML Multi-layer Perceptron Model Selection CNN GNN RNN 목차 Non-linear Models 이전 포스팅에서 살펴본 모델들은 data를 예측하거나 분류할 때 linear function을 이용하였다. 예를 들어, binary classification task가 주어졌다고 하자. binary classification이란 두 가지를 분류(예를 들어 사진이 강아지, 고양이 둘 중 무엇인가?)하는 task이다. 이 경우, classification 모델의 학습 과정은 데이터의 두 class(강아지, 고양이)를 ..

2022. 12. 10. 20:15
Fundamentals/AI Fundamentals

딥러닝 기초 - Elements of ML

자주 잊어버리는 딥러닝 기초 내용을 여러 포스팅에 걸쳐 간단하게 정리해보려 한다. 다룰 내용은 크게 아래와 같다. Introduction Elements of ML Multi-layer Perceptron Model Selection CNN GNN RNN 목차 Introduction 이번 포스팅에서는 머신 러닝이 무엇이며, 주요 구성 요소는 어떤 것이 있는지 알아볼 것이다. What is ML? Mitchell이 1997년에 내린 머신러닝의 정의는 다음과 같다. A computer program is said to learn from experience \(E\) with respect to some class of tasks \(T\) and performance measure \(P\), if its..

2022. 12. 10. 19:46