앙상블(Ensemble)기법 중 부스팅(Boosting)모델들의 특징과 장단점

머신러닝에서 앙상블(Ensemble) 기법은 여러 개의 모델을 결합하여 하나의 더 강력한 모델을 만드는 방법입니다.
그중 부스팅(Boosting) 은 약한 학습기(Weak Learner) 를 순차적으로 학습시키며 성능을 개선해 나가는 대표적인 앙상블 기법입니다.

이 글에서는

1. 부스팅의 핵심 특징
2. 각 모델의 특징과 장단점을 중심으로 살펴보겠습니다.

---

1. 부스팅(Boosting)의 핵심 특징

부스팅의 가장 큰 특징은 모델을 순차적으로 학습한다는 점입니다.

부스팅의 작동 방식

1. 처음 모델이 전체 데이터를 학습
2. 이전 모델이 틀린 데이터에 더 큰 가중치를 부여
3. 다음 모델은 어려운 데이터에 더 집중해서 학습
4. 여러 모델의 예측을 가중 합하여 최종 예측 수행

즉,

“틀린 문제를 반복해서 보완하며 점점 똑똑해지는 방식” 이라고 볼 수 있습니다.

 

---

2. AdaBoost (Adaptive Boosting)

📌 개념

AdaBoost는 부스팅의 가장 대표적인 초기 모델로,
오분류된 데이터에 점점 더 큰 가중치를 부여하는 방식으로 학습합니다.

📌 특징

• 주로 얕은 결정 트리(Decision Stump) 를 약한 학습기로 사용
• 이전 모델이 틀린 샘플에 집중
• 모델별 가중치를 계산하여 최종 예측에 반영

✅ 장점

• 구조가 비교적 단순하고 직관적
• 과적합이 심하지 않은 경우 성능 우수
• 이론적 배경이 탄탄함

❌ 단점

• 이상치(Outlier)에 매우 민감
• 노이즈가 많은 데이터에서 성능 저하
• 대규모 데이터에는 비효율적

 

---

3. GBM (Gradient Boosting Machine)

📌 개념

GBM은 AdaBoost와 달리
손실 함수(Loss Function)의 기울기(Gradient) 를 이용해 모델을 개선합니다.

이전 모델의 오차를 예측하는 모델을 계속 추가하는 방식입니다.

📌 특징

• 회귀와 분류 모두 사용 가능
• 다양한 손실 함수 적용 가능
• 결정 트리를 기반으로 한 부스팅

✅ 장점

• 높은 예측 성능
• 복잡한 패턴 학습 가능
• 유연한 모델 구조

❌ 단점

• 학습 속도가 느림
• 하이퍼파라미터 튜닝이 중요
• 과적합 위험 존재

 

---

4. XGBoost (Extreme Gradient Boosting)

📌 개념

XGBoost는 GBM을 성능과 속도 측면에서 개선한 모델로,
실무와 대회(Kaggle)에서 매우 널리 사용됩니다.

📌 특징

• 병렬 처리 지원
• 정규화(Regularization) 포함
• 결측값 자동 처리

✅ 장점

• 매우 뛰어난 성능
• 과적합 제어 능력 우수
• 대용량 데이터 처리 가능

❌ 단점

• 모델 구조가 복잡
• 하이퍼파라미터가 많아 튜닝 부담
• 해석이 상대적으로 어려움

 

---

5. LightGBM (Light Gradient Boosting Machine)

📌 개념

LightGBM은 속도와 메모리 효율을 극대화한 부스팅 모델입니다.
트리를 리프 중심(Leaf-wise) 으로 성장시키는 것이 가장 큰 특징입니다.

📌 특징

• 매우 빠른 학습 속도
• 대규모 데이터에 최적화
• 범주형 변수 처리에 강점

✅ 장점

• 학습 속도 매우 빠름
• 메모리 사용량 적음
• 대규모 데이터셋에 적합

❌ 단점

• 과적합 위험 (깊은 리프 생성)
• 소규모 데이터에서는 성능 불안정
• 파라미터 이해가 필요

 

---

6. CatBoost (Categorical Boost)

📌 개념

CatBoost는 범주형 변수(Categorical Feature) 처리를 자동화한 부스팅 모델입니다.

📌 특징

• 범주형 변수를 원-핫 인코딩 없이 처리
• 순서 기반 타깃 인코딩 사용
• 기본 설정만으로도 안정적인 성능

✅ 장점

• 범주형 변수가 많은 데이터에 강함
• 과적합 방지 구조 내장
• 튜닝 부담이 적음

❌ 단점

• 학습 속도가 상대적으로 느림
• 모델 크기가 큼
• 커스터마이징 자유도 낮음

 

---

7. 부스팅 모델 비교 요약

모델	핵심 특징	장점	단점
AdaBoost	가중치 기반	단순, 직관적	이상치 민감
GBM	Gradient 기반	유연성, 성능	느린 학습
XGBoost	GBM 개선	고성능, 안정성	튜닝 복잡
LightGBM	Leaf-wise	속도 빠름	과적합 위험
CatBoost	범주형 특화	전처리 최소화	느린 학습

 

---

8. 정리

부스팅은

약한 모델을 순차적으로 학습시키며 오차를 줄여가는 앙상블 기법입니다.

• 설명이 중요한 경우 → AdaBoost / GBM
• 성능이 최우선인 경우 → XGBoost / LightGBM
• 범주형 변수가 많은 경우 → CatBoost

데이터 특성과 목적에 따라 적절한 부스팅 모델을 선택하는 것이 중요합니다.