우연히 Binary Ensemble Neural Network란 논문을 읽었는데 바이너리 네트워크에 앙상블이 아주 좋다고 강조했다. 이 기회에 앙상블에 대해 간단하게 알아보고 넘어가려고 한다. 이 글은 아래의 몇가지 서술을 이해하는 것을 목적으로 한다. 1)bagging은 병렬적이며 빠르고, boosting은 직렬적이며 상대적으로 느리다.2)bagging은 모델의 variation은 줄일 수 있으나 bias는 줄이지 못하고 boosting은 둘 모두를 줄일 수 있다. 1. 앙상블기법의 핵심앙상블 기법은 weak learner를 잘 조합하여 strong learner를 만드는 것을 목표로 한다. 즉 성능이 그리 좋지 않은 모델들을 모아서 성능이 좋은 모델을 하나 만드는 것이다. 현실에서 각각의 능력을 가진..
1. 내년에 졸업을 해서 그런지 요즘 네이버메인에서 직업과 관련 된 글에 눈이 많이 간다. 오늘은 아래의 글을 보았다.'꿀빠는시간' 흔히 별로 힘들지 않게 일을 끝내는걸 꿀 빨았다고 표현하는데, 그 표현을 상품명으로 하는 진짜 빠는 꿀, 꿀스틱이다. 상품명이 직관적이고, 트렌디하고 유머 있으면서도 저급하지 않은게 정말 잘지은거 같다. 회사명은 '시속삼십킬로미터'. 힘든가요? ‘꿀빠는 시간’을 드릴게요 “상품명을 ‘꿀빠는 시간’으로 정했습니다. ‘편히 쉰다’는 뜻이예요. 일상 속 어느 한 순간이라도 쉼이 필요해요. 바쁘게 일하다보면 언젠가부터 쉬는 게 어색해집니다. 왜 이렇게 열심히 사는지도 잊어버리죠. 그래서 꿀 먹는 짧은 순간만이라도 쉬길 바라는 마음을 담았습니다. 회사명 ‘시속삼십킬로미터’도 마찬가지..
이번에 살펴 볼 논문은 아래의 세편이다.1) Deconvolutional Networks - 20102) Adaptive Deconvolutional Networks for Mid and High Level Feature Learning - 20113) Visualizing and Understanding Convolutional Networks - 2013모두 뉴욕대의 Matthew D. Zeiler가 대학원시절에 쓴 논문들이며 이 중에서도 특히 3번 논문이 ImageNet classification에서 우승한 네트워크에 대해 다뤄서 아주 유명하다. 본문에서는 ImageNet에서 우승한 CNN 구조에 대해 다루기보다는 이 세편의 논문에서 지속적으로 등장하는 deconvolution에 대해 다룰 것이다(..
딥러닝에서 한번의 iteration을 위해 들어가는 인풋데이터는 보통 batch라고 하여 수십수백개의 데이터를 한그룹으로 사용하게 됩니다. 그렇다면 mini-batch는 한번의 iteration에 인풋 데이터로 한개를 쓰는 경우와 전체 데이터셋을 쓰는 두 경우(양극단)에 비해 어떤 장점이 있길래 이렇게 당연한 듯이 쓰이는 걸까요. 당연한 말이지만 mini-batch는 두가지 방법의 장점을 모두 얻기 위한(서로의 단점을 보완) 타협점입니다, 아래에서는 두가지 방법의 장단점에 대해 알아보고 왜 mini-batch를 사용하는지 정리해보겠습니다.(forward + backpropagation+업데이트를 거치는 한번의 과정을 iteration이라고 합니다.) 데이터를 한개 쓰는 경우 장점:1)iteration 한..