양자화 기법인 Post-Training Quantization과 Quantization-Aware Training의 차이

딥러닝 모델을 실제 서비스에 배포할 때는 모델의 크기와 추론 속도가 중요하다.
이때 사용하는 대표적인 최적화 기법 중 하나가 양자화(Quantization) 이다.

양자화는 모델의 가중치나 연산에 사용되는 숫자의 정밀도를 낮추는 방법이다.
예를 들어 FP32 형식의 값을 INT8처럼 더 가벼운 형식으로 바꾸면 모델 크기와 연산량을 줄일 수 있다.

양자화 방식에는 대표적으로 Post-Training Quantization(PTQ) 과 Quantization-Aware Training(QAT) 이 있다.

1. Post-Training Quantization이란?

Post-Training Quantization은 말 그대로 학습이 끝난 모델을 나중에 양자화하는 방식이다.

이미 학습이 완료된 모델을 가져와서 추가 학습 없이 가중치나 연산 정밀도를 낮춘다.
따라서 적용 과정이 비교적 간단하고 빠르다.

PTQ는 모델을 빠르게 경량화하고 싶을 때 많이 사용된다.
하지만 모델에 따라 양자화 후 정확도가 떨어질 수 있다.

2. Quantization-Aware Training이란?

Quantization-Aware Training은 학습 과정에서 양자화가 적용될 상황을 미리 반영하는 방식이다.

모델을 학습할 때부터 낮은 정밀도로 계산되는 상황을 가정한다.
그래서 실제 양자화 후에도 정확도 손실이 적도록 모델이 적응하게 된다.

QAT는 PTQ보다 과정이 복잡하고 시간이 더 걸린다.
하지만 정확도를 더 잘 유지할 수 있다는 장점이 있다.

3. 두 방식의 차이

PTQ와 QAT의 가장 큰 차이는 양자화를 언제 반영하느냐이다.

PTQ는 학습이 끝난 뒤에 양자화를 적용한다.
반면 QAT는 학습 과정에서부터 양자화를 고려한다.

즉, PTQ는 빠르고 간단하지만 정확도 손실이 생길 수 있고,
QAT는 시간이 더 걸리지만 정확도 유지에 더 유리하다.

4. 언제 어떤 방식을 사용할까?

빠르게 모델을 배포하거나 정확도 손실이 크지 않은 경우에는 PTQ를 사용할 수 있다.
반대로 정확도가 중요한 서비스이거나 PTQ 적용 후 성능 저하가 크다면 QAT를 고려하는 것이 좋다.

예를 들어 간단한 이미지 분류 모델은 PTQ만으로도 충분할 수 있다.
하지만 자율주행, 의료 이미지 분석, 보안 시스템처럼 정확도가 중요한 분야에서는 QAT가 더 적합할 수 있다.

정리

Post-Training Quantization과 Quantization-Aware Training의 차이는 다음과 같다.

• PTQ는 학습이 끝난 모델을 나중에 양자화하는 방식이다.
• QAT는 학습 과정에서 양자화를 미리 고려하는 방식이다.
• PTQ는 적용이 빠르고 간단하다.
• QAT는 시간이 더 걸리지만 정확도 유지에 유리하다.
• 정확도 손실이 작으면 PTQ, 정확도가 중요하면 QAT를 고려할 수 있다.

결국 PTQ와 QAT는 모두 모델을 가볍고 빠르게 만들기 위한 양자화 기법이다.
다만 PTQ는 간단한 배포 최적화에 적합하고, QAT는 정확도까지 안정적으로 유지해야 하는 상황에 더 적합하다.