손실 함수(loss function)란 무엇이며, 왜 중요한가

머신러닝 모델은 예측을 하고 끝나는 것이 아니라,
그 예측이 얼마나 틀렸는지를 기준으로 계속해서 스스로를 개선합니다.

이때, “얼마나 틀렸는지”를 숫자로 표현해주는 기준이 바로 손실 함수(Loss Function) 입니다.

 

---

1. 손실 함수(Loss Function)란?

손실 함수는 모델의 예측값과 실제 정답 사이의 차이(오차) 를
하나의 숫자 값으로 계산하는 함수입니다.

직관적인 설명

• 예측이 정확할수록 → 손실 값 작음
• 예측이 틀릴수록 → 손실 값 큼

📌 즉,

손실 함수는 모델에게 “너 지금 얼마나 못했어?”라고 알려주는 기준점이다.

 

---

2. 왜 손실 함수가 중요한가요?

손실 함수는 단순한 평가 지표가 아니라,
모델 학습 자체를 이끄는 핵심 요소입니다.

손실 함수가 중요한 이유

① 학습 방향을 결정한다

• 모델은 손실 값을 줄이는 방향으로 학습
• 손실 함수가 바뀌면 → 학습 결과도 완전히 달라짐

② 모델 성능의 기준이 된다

• “이 모델이 더 좋은가?” → 손실 값으로 판단
• 손실이 작을수록 더 좋은 모델

③ 문제 유형을 정의한다

• 회귀 문제 → 회귀용 손실 함수
• 분류 문제 → 분류용 손실 함수

문제에 맞지 않는 손실 함수는 성능을 망친다

 

---

3. 손실 함수 예시

회귀 문제(값 예측)

손실 함수	설명	특징
MSE (Mean Squared Error)	오차를 제곱해 평균	큰 오차에 민감
MAE (Mean Absolute Error)	오차의 절댓값 평균	이상치에 비교적 강함
RMSE	MSE에 루트 적용	단위 해석 쉬움

예시

• 집 가격 예측
• 자전거 대여 수 예측

분류 문제(카테고리 예측) 

손실 함수	사용 예	특징
Binary Cross Entropy	이진 분류	확률 기반
Categorical Cross Entropy	다중 분류	Softmax와 함께 사용
Hinge Loss	SVM	마진 기반

예시

• 스팸 메일 분류
• 정상 / 이상 판별

 

---

4. 손실 함수는 어떻게 학습에 사용될까?

모델 학습 과정은 아래 흐름으로 반복됩니다.

1. 모델이 예측값 생성
2. 손실 함수로 오차 계산
3. 손실 값을 줄이도록 가중치 수정
4. 다시 예측 → 다시 계산 (반복)

📌 이때 사용하는 방법이 바로 경사 하강법(Gradient Descent) 입니다.

손실 함수는 지형, 모델 학습은 가장 낮은 지점을 찾아 내려가는 과정이다.

 

 

손실 함수 곡선 그래프

손실 함수는 모델 파라미터에 따라 값이 변하며, 학습은 최소 손실 지점을 찾는 과정이다.

 

 

예측값 vs 실제값 비교

 

오차의 절댓값 평균을 계산하기 위해 먼저 모든 잔차의 절대값을 계산합니다. 양의 오차와 음의 오차가 서로 상쇄되는 것을 원하지 않기 때문에 오차의 절대값을 취합니다. 모델이 한 데이터 포인트를 +10만큼 초과하고 다른 데이터 포인트를 -10만큼 과소평가하면 (-10) + 10 = 0이기 때문에 이러한 오차는 서로 상쇄됩니다. 하지만 오차의 절대값을 취하면 |10| + |-10| = 20이기 때문에 이 문제를 피할 수 있습니다.

 

손실 함수는 예측값과 실제값의 차이를 수치로 표현한다.

 

---

5. 손실 함수 선택 시 주의할 점

• 문제 유형(회귀/분류)에 맞는가?
• 이상치(outlier)에 민감해도 되는가?
• 해석이 필요한가, 정확도가 중요한가?

📌 예시

• 이상치가 많다 → MAE
• 큰 오차를 강하게 벌주고 싶다 → MSE

 

---

정리

손실 함수는 모델이 얼마나 틀렸는지를 알려주고,
모델이 어디로 학습해야 하는지를 결정하는 기준이다.