Research/Paper Review & Implementation
[논문 리뷰] [2017 NIPS] Attention is All You Need (a.k.a. Transformer) (1)
자연어 처리 분야의 대세를 바꿔버린, 게다가 비젼 분야에도 응용되어 대세로 자리매김한 Transformer라는 아키텍쳐를 제안한 논문을 읽고 리뷰해보려 한다. 워낙 유명한 논문이어서 많은 리뷰가 존재하지만, 그만큼 논문 내용이 궁금해서 읽어보았다. 목차 Motivation 3D Vision 분야의 연구를 시작하기 앞서 여러 논문을 추천받아 읽어봤고, 몇 차례의 세미나를 통해 요즘 연구의 트렌드가 어떤지 1~2달간 알아보는 시간을 가졌다. (말하자면 연구 인턴?) 첫 번째 깨달은 점은 현재 연구 트렌드는 내가 전혀 알아들을 수도 없을 만큼 머신러닝, 딥러닝 기초 지식에 비해 깊어졌다는 것이다. 내가 배웠던 내용도 (2D object detection 분야를 예로 들자면) 2010년도 중반이 되어서야 인간의..
2022. 9. 9. 15:47
최근댓글