선형대수학이란 무엇이며, 왜 머신러닝에 필요한가?

1. 선형대수학이란 무엇인가?

선형대수학(Linear Algebra)은 벡터(vector)와 행렬(matrix)을 중심으로
선형 관계(linear relationship)를 다루는 수학의 한 분야이다.

쉽게 말해,

 

여러 개의 숫자를 구조적으로 표현하고, 그 관계를 계산하는 학문이다.

 

선형대수학의 핵심 개념

• 벡터(Vector): 숫자의 집합 (예: 특성(feature))이다. 2차원 평면에서 벡터는(x,y)좌표로 나타낼 수 있다.
• 행렬(Matrix): 벡터를 모아놓은 표 형태의 구조이다. 예를 들어 2*2 행렬은 다음과 같이 나타낼 수 있다.

• 선형변환(Linear Transformation): 벡터를 다른 벡터로 변환하는 함수이다. 예를 들어 2차원벡터(x,y)를 2*2 행렬 A를 통해 변환하면 새로운(x',y')를 얻을 수 있다.
• 행렬 연산: 행렬의 덧셈, 뺄셈, 곱셈 등 데이터 변환의 핵심 연산 (방법 및 원리 링크 참조: https://wikidocs.net/214409)
• 고유값 / 고유벡터(Eigenvalue / Eigenvector): 행렬 변환 후에도 방향이 변하지 않는 벡터와 그에 대응하는 값

 

이 개념들은 단순 계산을 넘어서 데이터를 수학적으로 표현하는 언어 역할을 한다.

 

---

2. 머신러닝에서 데이터는 어떻게 표현될까?

머신러닝에서 다루는 데이터는 대부분 아래와 같은 형태다.

• 하나의 데이터 샘플 → 벡터
• 전체 데이터셋 → 행렬

예를 들어,

• 한 사람의 정보 (키, 몸무게, 나이) → 3차원 벡터
• 1,000명의 데이터 → 1000 × 3 행렬

즉,

 

머신러닝의 입력 데이터 자체가 이미 선형대수 구조로 되어 있다.

 

---

3. 왜 머신러닝에 선형대수학이 필요한가?

① 모델은 “선형 변환”으로 시작한다

가장 기본적인 머신러닝 모델인 선형 회귀(Linear Regression)는 아래 수식으로 표현된다.

 

 

y = Wx + b

 

여기서:

• W: 가중치 행렬 (weight)
• x: 입력 벡터
• b: 편향(bias)

이 수식은 결국   가중치 행렬 × 입력 데이터 + 편향   이며,
이는 선형대수의 가장 기본적인 연산이고 적합한 W와 b의 값을 찾기 위한 과정이다.

 

선형 회귀(Linear Regression)의 더 자세한 설명은 (아래 링크 참조)

https://velog.io/@luoying/%EC%84%A0%ED%98%95-%ED%9A%8C%EA%B7%80Linear-Regression

 

신경망, 딥러닝 모델도 내부를 보면 선형 변환 + 비선형 함수의 반복 구조다.

 

② 벡터 내적은 “유사도”를 의미한다

머신러닝에서는 자주 이런 질문을 한다.

• 두 데이터가 얼마나 비슷한가?
• 예측 결과가 얼마나 맞는가?

이때 사용되는 것이 벡터 내적과 코사인 유사도다.

• 추천 시스템
• 자연어 처리
• 임베딩(Embedding)

 

이 모든 분야에서 벡터 간 거리와 각도를 계산하며, 이는 전부 선형대수 개념이다.

 

③ 차원 축소와 특징 추출의 핵심

대표적인 차원 축소 기법인 PCA(주성분 분석)는:

• 공분산 행렬
• 고유값, 고유벡터

를 기반으로 동작한다.

즉,

 

중요한 정보 방향만 남기고, 불필요한 차원을 제거하는 과정 자체가 선형대수의 응용이다.

 

④ 학습 과정은 결국 “행렬 계산 최적화”

머신러닝 모델 학습은 다음을 반복한다.

1. 행렬 연산으로 예측값 계산
2. 오차(loss) 계산
3. 기울기(gradient) 계산
4. 가중치 행렬 업데이트

이 과정은 모두:

• 행렬 미분
• 벡터 연산
• 선형대수 기반 최적화

로 이루어져 있다.

 

그래서 딥러닝 프레임워크(TensorFlow, PyTorch)는 GPU 기반 행렬 연산에 최적화되어 있다.

 

---

4. 선형대수를 모르면 머신러닝이 어려울까?

결론부터 말하면:

• 구현만 따라 치는 것은 가능
• 원리를 이해하고 응용하는 것은 불가능

선형대수를 이해하면:

• 모델이 왜 그렇게 동작하는지 설명할 수 있고
• 성능 문제가 생겼을 때 원인을 추론할 수 있으며
• 새로운 모델 구조를 이해하는 속도가 압도적으로 빨라진다.

 

---

5. 머신러닝을 위한 선형대수 학습 포인트

모든 내용을 깊게 할 필요는 없다.
머신러닝 관점에서는 아래가 핵심이다.

• 벡터와 행렬의 의미
• 행렬 곱의 직관
• 내적과 유사도
• 고유값 / 고유벡터의 개념적 이해

 

“계산 능력”보다 “의미 이해”가 훨씬 중요하다.

 

---

6. 정리

• 선형대수학은 데이터를 구조적으로 표현하는 수학이다.
• 머신러닝의 데이터, 모델, 학습 과정은 모두 선형대수 위에서 동작한다.
• 선형대수는 머신러닝의 선택 과목이 아니라 필수 기초다.

 

머신러닝을 이해하고 싶다면, 코드보다 먼저 선형대수를 이해해야 한다.