모델 학습 시 발생할 수 있는 편향과 분산이란 무엇이며, 두 개념의 관계

머신러닝 모델을 학습하다 보면
어떤 모델은 너무 단순해서 성능이 안 나오고,
어떤 모델은 학습 데이터에만 너무 잘 맞는 문제를 겪게 됩니다.

이 두 현상을 설명하는 핵심 개념이 바로
편향(Bias) 과 분산(Variance) 입니다.

 

---

1. 편향(Bias)이란?

편향은 모델이 너무 단순해서 데이터의 패턴을 제대로 학습하지 못하는 현상입니다.

직관적인 설명

• “대충 이런 느낌이지?” 하고 일반화해버림
• 현실을 너무 단순하게 가정함

특징

• 학습 데이터에서도 성능이 나쁨
• 테스트 데이터에서도 성능이 나쁨
• 과소적합(Underfitting) 발생

예시

• 복잡한 데이터를 직선 하나로만 설명하려는 경우
• 중요한 변수를 무시한 단순 모델

 

---

2. 분산(Variance)이란?

분산은 모델이 학습 데이터에 과도하게 맞춰져 일반화에 실패하는 현상입니다.

직관적인 설명

• “이 데이터는 이렇게, 저 데이터는 저렇게!”
• 학습 데이터의 노이즈까지 외워버림

특징

• 학습 데이터 성능은 매우 좋음
• 테스트 데이터 성능은 나쁨
• 과적합(Overfitting) 발생

예시

• 학습 데이터 포인트 하나하나를 모두 통과하는 곡선
• 깊이가 지나치게 깊은 결정 트리

 

---

3. 편향과 분산 예시 비교

구분	편향(Bias)	분산(Variance)
모델 복잡도	너무 낮음	너무 높음
학습 성능	나쁨	좋음
테스트 성능	나쁨	나쁨
발생 현상	과소적합	과적합
원인	단순한 가정	과도한 학습

 

---

4. 편향–분산 트레이드오프(Bias–Variance Tradeoff)

편향과 분산은 서로 반비례 관계에 있습니다.

 

Bias–Variance Tradeoff 그래프

모델 복잡도에 따라 편향과 분산은 반대 방향으로 변화한다

 

핵심 관계

• 모델이 단순해질수록 → 편향 ↑, 분산 ↓
• 모델이 복잡해질수록 → 편향 ↓, 분산 ↑

📌 즉,

편향과 분산을 동시에 최소화하는 것은 불가능하며,
두 개 사이의 균형을 맞추는 것이 목표입니다.

 

🎯 과녁 비유

편향과 분산은 과녁에 점의 분포로 직관적으로 이해할 수 있다

 

상태	설명
한쪽에 몰림	편향 ↑, 분산 ↓
여기저기 흩어짐	편향 ↓, 분산 ↑
중심에 고르게 분포	편향 ↓, 분산 ↓

 

📌 좋은 모델은
과녁의 중심(정답)에 고르게 맞춘 상태입니다.

 

---

5. 편향과 분산을 줄이는 방법

편향을 줄이는 방법

• 모델 복잡도 증가
• 더 많은 특징(feature) 사용
• 비선형 모델 사용

분산을 줄이는 방법

• 학습 데이터 증가
• 정규화(Regularization) 적용
• 모델 단순화
• 앙상블(Random Forest 등)

 

---

정리

• 편향이 크다 → 모델이 너무 단순
• 분산이 크다 → 모델이 너무 복잡
• 목표는 적절한 복잡도의 모델 선택
• 교차 검증(Cross Validation)
• 하이퍼파라미터 튜닝을 통해 균형점을 찾습니다.

편향은 모델의 단순함에서 오는 오류이고,
분산은 모델의 복잡함에서 오는 불안정성이다.
좋은 모델은 두 사이의 균형을 찾은 모델이다.