담백한 열정의 오늘

우연히 Binary Ensemble Neural Network란 논문을 읽었는데 바이너리 네트워크에 앙상블이 아주 좋다고 강조했다. 이 기회에 앙상블에 대해 간단하게 알아보고 넘어가려고 한다. 이 글은 아래의 몇가지 서술을 이해하는 것을 목적으로 한다. 1)bagging은 병렬적이며 빠르고, boosting은 직렬적이며 상대적으로 느리다.2)bagging은 모델의 variation은 줄일 수 있으나 bias는 줄이지 못하고 boosting은 둘 모두를 줄일 수 있다. 1. 앙상블기법의 핵심앙상블 기법은 weak learner를 잘 조합하여 strong learner를 만드는 것을 목표로 한다. 즉 성능이 그리 좋지 않은 모델들을 모아서 성능이 좋은 모델을 하나 만드는 것이다. 현실에서 각각의 능력을 가진..