차원 축소 기법인 주성분 분석(PCA)과 요인 분석(FA)의 차이

데이터 분석과 머신러닝에서 차원 축소(Dimensionality Reduction) 는
고차원 데이터를 더 단순하고 이해하기 쉬운 형태로 바꾸기 위해 사용되는 중요한 기법입니다.

대표적인 차원 축소 방법으로는 주성분 분석(PCA, Principal Component Analysis) 과
요인 분석(FA, Factor Analysis) 이 있으며,
두 기법은 비슷해 보이지만 목적과 해석 방식에서 큰 차이가 있습니다.

이 글에서는 PCA와 FA의 개념, 특징, 그리고 차이점을 중심으로 살펴보겠습니다.

 

---

1. 차원 축소란 무엇인가요?

차원 축소는 많은 변수(차원)를 더 적은 수의 변수로 요약하는 과정입니다.

차원 축소가 필요한 이유

• 변수 수가 많아질수록 모델 복잡도 증가
• 계산 비용 증가
• 과적합 위험
• 변수 간 상관관계로 인한 해석 어려움

차원 축소를 통해 정보 손실은 최소화하면서 데이터 구조를 단순화할 수 있습니다.

 

---

2. 주성분 분석 (PCA: Principal Component Analysis)

📌 개념

PCA는 데이터의 분산(Variance)을 최대한 보존하는 방향으로
새로운 축(주성분, Principal Component)을 생성하는 기법입니다.

 

데이터 자체를 가장 잘 설명하는 방향을 찾는 것이 목표입니다.

 

📌 핵심 특징

• 분산이 가장 큰 방향을 첫 번째 주성분으로 선택
• 각 주성분은 서로 직교(독립)
• 원래 변수들의 선형 결합으로 구성됨

✅ 장점

• 계산이 비교적 단순하고 빠름
• 노이즈 제거 효과
• 머신러닝 전처리 단계에 매우 적합
• 다중공선성 문제 완화

❌ 단점

• 주성분의 해석이 어려움
• 분산 기준이므로 의미 없는 분산도 포함될 수 있음
• 타깃 변수 고려하지 않음 (비지도 학습)

📌 PCA는 언제 쓰면 좋을까?

• 모델 성능 향상이 목적일 때
• 고차원 데이터 시각화 (2D, 3D)
• 머신러닝 입력 변수 축소

 

---

3. 요인 분석 (FA: Factor Analysis)

📌 개념

요인 분석은
관측 변수들 뒤에 숨어 있는 잠재 요인(Latent Factor) 을 찾는 기법입니다.

 

“이 변수들이 왜 함께 움직일까?”에 대한 이론적 설명이 목적입니다.

 

📌 핵심 특징

• 변수 간 공통 요인(Common Factor) 을 가정
• 관측 변수 = 공통 요인 + 고유 요인(오차)
• 통계·사회과학 분야에서 많이 사용

✅ 장점

• 결과 해석이 상대적으로 쉬움
• 개념적, 이론적 의미 부여 가능
• 설문 데이터 분석에 적합

❌ 단점

• 가정이 많음
• 모델 설정이 복잡
• PCA보다 계산이 느림
• 머신러닝 전처리용으로는 덜 사용됨

📌 요인 분석은 언제 쓰면 좋을까?

• 설문 문항 요약
• 심리·마케팅·사회과학 연구
• 개념(만족도, 충성도 등) 도출이 목적일 때

 

---

4. PCA와 요인 분석의 핵심 차이

🔍 목적의 차이

• PCA: 데이터 요약, 정보 압축
• FA: 잠재 개념(요인) 발견

🔍 분산 처리 방식

• PCA: 전체 분산을 설명
• FA: 공통 분산만 설명 (오차 분리)

🔍 해석 관점

• PCA: 수학적, 계산 중심
• FA: 이론적, 해석 중심

 

---

5. PCA vs 요인 분석 비교 정리

구분	주성분 분석(PCA)	요인 분석(FA)
목적	분산 최대 보존	잠재 요인 발견
사용 분야	머신러닝, 데이터 전처리	통계, 사회과학
분산 처리	전체 분산	공통 분산
결과 해석	어려움	비교적 쉬움
계산 복잡도	낮음	높음
지도/비지도	비지도	비지도

 

---

6. 정리

주성분 분석과 요인 분석은 모두 차원 축소 기법이지만,
무엇을 위해 사용하는지에 따라 선택이 달라집니다.

• 성능과 계산 효율이 목적 → PCA
• 개념과 해석이 목적 → 요인 분석

즉,

PCA는 “데이터를 잘 요약하는 방법” 이고
요인 분석은 “데이터를 설명하는 방법” 이라고 이해하면 좋습니다.