대표적인 데이터 전처리 방법

데이터 분석이나 머신러닝에서 데이터 전처리(Data Preprocessing) 는
모델 성능과 분석 결과의 품질을 좌우하는 매우 중요한 단계입니다.

그중에서도 가장 기본이 되는 전처리 방법은
결측값, 중복값, 이상치 처리입니다.

 

---

결측값(Missing Value) 처리

✔ 결측값이란?

결측값은 데이터가 비어 있거나 누락된 상태를 의미합니다.
예를 들어 나이, 가격, 국가 정보 등이 입력되지 않은 경우입니다.

✔ 왜 문제가 될까?

• 통계 계산 결과가 왜곡될 수 있음
• 머신러닝 모델 학습 시 오류 발생 가능
• 분석 신뢰도 저하

✔ 대표적인 처리 방법

• 삭제: 결측값이 적을 때 해당 행 또는 열 제거
• 대체(치환)
  • 평균값 / 중앙값 / 최빈값으로 대체
  • 앞뒤 값으로 채우기 (시계열 데이터)
• 모델 기반 대체: 예측 모델로 결측값 추정

 

데이터의 특성과 결측 비율을 고려해 방법을 선택하는 것이 중요합니다.

 

---

중복값(Duplicate Value) 처리

✔ 중복값이란?

중복값은 동일한 데이터가 여러 번 반복되어 존재하는 경우를 말합니다.
주로 데이터 수집 과정에서 발생합니다.

✔ 왜 문제가 될까?

• 특정 데이터가 과도하게 반영됨
• 통계 결과와 모델 학습이 편향될 수 있음

✔ 대표적인 처리 방법

• 완전 중복 행 제거
• 특정 컬럼 기준 중복 제거
  (예: 회원 ID, 주문 번호 등)

 

어떤 컬럼을 기준으로 중복을 판단할지 정의하는 것이 핵심입니다.

 

---

이상치(Outlier) 처리

✔ 이상치란?

이상치는 대부분의 데이터 범위에서 크게 벗어난 값을 의미합니다.
예: 평균 숙박일이 3일인데 300일인 경우

✔ 왜 문제가 될까?

• 평균, 분산 등 통계값 왜곡
• 머신러닝 모델 성능 저하

✔ 이상치 탐지 방법

• 통계적 방법
  • IQR(사분위수 범위)
  • Z-score
• 시각화
  • 박스플롯
  • 산점도

✔ 처리 방법

• 이상치 제거
• 상한/하한 값으로 조정(클리핑)
• 로그 변환 등 데이터 변환

 

무조건 제거하기보다, 실제 의미 있는 값인지 먼저 판단해야 합니다.

 

---

정리

 

전처리 항목	설명	목적
결측값 처리	데이터가 비어 있거나 누락된 상태	데이터 누락으로 인한 오류 방지
중복값 처리	동일한 데이터가 여러 번 반복되어 존재	데이터 편향 방지
이상치 처리	대부분의 데이터 범위에서 크게 벗어난 값	통계 왜곡 및 모델 성능 저하 방지

 

 

 

데이터 전처리란

 

“데이터를 깨끗하게 만드는 작업”이 아니라,
“분석에 적합한 상태로 만드는 과정”