우연히 Binary Ensemble Neural Network란 논문을 읽었는데 바이너리 네트워크에 앙상블이 아주 좋다고 강조했다. 이 기회에 앙상블에 대해 간단하게 알아보고 넘어가려고 한다. 이 글은 아래의 몇가지 서술을 이해하는 것을 목적으로 한다. 1)bagging은 병렬적이며 빠르고, boosting은 직렬적이며 상대적으로 느리다.2)bagging은 모델의 variation은 줄일 수 있으나 bias는 줄이지 못하고 boosting은 둘 모두를 줄일 수 있다. 1. 앙상블기법의 핵심앙상블 기법은 weak learner를 잘 조합하여 strong learner를 만드는 것을 목표로 한다. 즉 성능이 그리 좋지 않은 모델들을 모아서 성능이 좋은 모델을 하나 만드는 것이다. 현실에서 각각의 능력을 가진..
1. 내년에 졸업을 해서 그런지 요즘 네이버메인에서 직업과 관련 된 글에 눈이 많이 간다. 오늘은 아래의 글을 보았다.'꿀빠는시간' 흔히 별로 힘들지 않게 일을 끝내는걸 꿀 빨았다고 표현하는데, 그 표현을 상품명으로 하는 진짜 빠는 꿀, 꿀스틱이다. 상품명이 직관적이고, 트렌디하고 유머 있으면서도 저급하지 않은게 정말 잘지은거 같다. 회사명은 '시속삼십킬로미터'. 힘든가요? ‘꿀빠는 시간’을 드릴게요 “상품명을 ‘꿀빠는 시간’으로 정했습니다. ‘편히 쉰다’는 뜻이예요. 일상 속 어느 한 순간이라도 쉼이 필요해요. 바쁘게 일하다보면 언젠가부터 쉬는 게 어색해집니다. 왜 이렇게 열심히 사는지도 잊어버리죠. 그래서 꿀 먹는 짧은 순간만이라도 쉬길 바라는 마음을 담았습니다. 회사명 ‘시속삼십킬로미터’도 마찬가지..
이번에 살펴 볼 논문은 아래의 세편이다.1) Deconvolutional Networks - 20102) Adaptive Deconvolutional Networks for Mid and High Level Feature Learning - 20113) Visualizing and Understanding Convolutional Networks - 2013모두 뉴욕대의 Matthew D. Zeiler가 대학원시절에 쓴 논문들이며 이 중에서도 특히 3번 논문이 ImageNet classification에서 우승한 네트워크에 대해 다뤄서 아주 유명하다. 본문에서는 ImageNet에서 우승한 CNN 구조에 대해 다루기보다는 이 세편의 논문에서 지속적으로 등장하는 deconvolution에 대해 다룰 것이다(..