RAG 시스템 성능 독립 평가 vs 종단간 평가

RAG 시스템은 단순히 정답을 맞추는지만 보는 것이 아니라,
검색이 잘 되었는지와 최종 답변이 적절한지를 각각 평가해야 합니다.

그래서 보통 평가 방법은 크게 두 가지로 나뉩니다.

• 독립 평가 (Component-level Evaluation)
• 종단간 평가 (End-to-End Evaluation)

---

RAG 평가 구조 한눈에 보기

 

 

핵심은 간단합니다.

검색 단계와 생성 단계를 나눠서 볼 것인가, 전체 결과만 볼 것인가의 차이

---

독립 평가 (Independent Evaluation)

의미
RAG의 각 구성 요소를 따로따로 평가하는 방식입니다.

즉,

• 검색 성능은 검색만 평가
• 생성 성능은 생성만 평가

이렇게 분리해서 분석합니다.

(1) Retrieval 평가 — 검색이 잘 되었는지 확인

대표 지표:

• Precision — 가져온 문서 중 정답 비율
• Recall — 필요한 문서를 얼마나 놓치지 않았는지
• MRR (Mean Reciprocal Rank) — 정답 문서가 상위에 있는지
• Hit Rate — 정답 문서가 포함되었는지

예시 질문:

정답 문서를 Top-5 안에 가져왔는가?

 

핵심 포인트

• 검색 품질을 정확히 파악 가능
• 문제 원인을 찾기 쉬움
• RAG 튜닝에 필수

한 줄 정리

검색과 생성 성능을 각각 따로 평가하는 방식

(2) Generation 평가 — 답변 품질 평가

대표 지표:

• BLEU
• ROUGE
• F1 Score
• Exact Match

최근 많이 사용하는 방식:

• LLM-as-a-Judge
• Human Evaluation

예시 평가 항목:

• 정확성 (Accuracy)
• 관련성 (Relevance)
• 자연스러움 (Fluency)
• 근거 기반 여부 (Groundedness)

한 줄 정리

답변 자체의 품질을 평가하는 방식

---

종단간 평가 (End-to-End Evaluation)

RAG 시스템을 하나의 시스템으로 보고 전체 결과만 평가하는 방식입니다.

즉,

질문 → 검색 → 생성 → 최종 답변
이 전체 과정을 한 번에 평가

대표 평가 방법

1) 정답 기반 평가 (Ground Truth 기반)

예시:

질문
→ "대한민국 수도는?"

 

정답
→ "서울"

 

모델 답변
→ "서울"

 

이 경우:

• Accuracy = 100%

2) 사용자 중심 평가 (User-level Evaluation)

예시 지표:

• Answer Accuracy
• Helpfulness
• User Satisfaction
• Task Success Rate

실무 서비스에서는 이 지표가 매우 중요합니다.

종단간 평가 특징

• 실제 사용자 경험을 가장 잘 반영
• 서비스 품질 확인에 필수
• 문제 원인 분석은 어려움

한 줄 정리

전체 시스템 결과만 평가하는 방식

---

독립 평가 vs 종단간 평가 차이

구분	독립 평가	종단간 평가
평가 대상	개별 구성 요소	전체 시스템
목적	문제 원인 분석	실제 성능 확인
예시	Recall, MRR	Accuracy, User Satisfaction
활용 단계	개발 / 튜닝	서비스 운영
장점	디버깅 쉬움	현실 반영
단점	사용자 경험 반영 어려움	원인 분석 어려움

---

정리

RAG 평가에서는 두 가지를 반드시 함께 사용합니다.

이유:

• 독립 평가 → 어디가 문제인지 찾기 위해
• 종단간 평가 → 전체 서비스 품질을 확인하기 위해

즉,

튜닝할 때는 독립 평가, 서비스 품질 확인은 종단간 평가