우연히 Binary Ensemble Neural Network란 논문을 읽었는데 바이너리 네트워크에 앙상블이 아주 좋다고 강조했다. 이 기회에 앙상블에 대해 간단하게 알아보고 넘어가려고 한다. 이 글은 아래의 몇가지 서술을 이해하는 것을 목적으로 한다. 1)bagging은 병렬적이며 빠르고, boosting은 직렬적이며 상대적으로 느리다.2)bagging은 모델의 variation은 줄일 수 있으나 bias는 줄이지 못하고 boosting은 둘 모두를 줄일 수 있다. 1. 앙상블기법의 핵심앙상블 기법은 weak learner를 잘 조합하여 strong learner를 만드는 것을 목표로 한다. 즉 성능이 그리 좋지 않은 모델들을 모아서 성능이 좋은 모델을 하나 만드는 것이다. 현실에서 각각의 능력을 가진..
이번에 살펴 볼 논문은 아래의 세편이다.1) Deconvolutional Networks - 20102) Adaptive Deconvolutional Networks for Mid and High Level Feature Learning - 20113) Visualizing and Understanding Convolutional Networks - 2013모두 뉴욕대의 Matthew D. Zeiler가 대학원시절에 쓴 논문들이며 이 중에서도 특히 3번 논문이 ImageNet classification에서 우승한 네트워크에 대해 다뤄서 아주 유명하다. 본문에서는 ImageNet에서 우승한 CNN 구조에 대해 다루기보다는 이 세편의 논문에서 지속적으로 등장하는 deconvolution에 대해 다룰 것이다(..
딥러닝에서 한번의 iteration을 위해 들어가는 인풋데이터는 보통 batch라고 하여 수십수백개의 데이터를 한그룹으로 사용하게 됩니다. 그렇다면 mini-batch는 한번의 iteration에 인풋 데이터로 한개를 쓰는 경우와 전체 데이터셋을 쓰는 두 경우(양극단)에 비해 어떤 장점이 있길래 이렇게 당연한 듯이 쓰이는 걸까요. 당연한 말이지만 mini-batch는 두가지 방법의 장점을 모두 얻기 위한(서로의 단점을 보완) 타협점입니다, 아래에서는 두가지 방법의 장단점에 대해 알아보고 왜 mini-batch를 사용하는지 정리해보겠습니다.(forward + backpropagation+업데이트를 거치는 한번의 과정을 iteration이라고 합니다.) 데이터를 한개 쓰는 경우 장점:1)iteration 한..