LangChain으로 RAG 시스템 구축 시 필요한 주요 구성 요소와 역할

RAG(Retrieval-Augmented Generation)는 외부 지식을 검색(Retrieval)한 뒤,

이를 기반으로 답변을 생성(Generation) 하는 구조입니다.
특히 LangChain을 사용하면 이 과정을 모듈 형태로 쉽게 구성할 수 있어,

챗봇·문서 검색 시스템·사내 지식 시스템 등에 널리 활용됩니다.

---

RAG 시스템 전체 구조

RAG 시스템은 보통 다음 흐름으로 동작합니다.

문서 → 임베딩 → 벡터DB 저장 → 질문 입력 → 관련 문서 검색 → LLM 답변 생성

이 과정을 구성하는 핵심 요소들을 하나씩 살펴보겠습니다.

---

Document Loader (문서 로더)

역할:
외부 데이터를 시스템으로 불러오는 단계입니다.

예시 데이터

• PDF
• Word / Excel
• 웹페이지
• 데이터베이스
• 텍스트 파일

핵심 포인트

• 다양한 형식의 문서를 통합 처리
• RAG의 시작점
• 데이터 소스 연결 역할

한 줄 정리

데이터를 시스템으로 가져오는 역할

---

Text Splitter (텍스트 분할기)

역할:
긴 문서를 작은 단위(Chunk)로 나누는 단계입니다.

왜 필요할까요?

• LLM은 긴 문서를 한 번에 처리하기 어려움
• 검색 정확도를 높이기 위해
• 임베딩 성능 향상을 위해

예시

원본 문서
→ 10,000자

분할 후
→ 500자 × 여러 개

 

한 줄 정리

문서를 검색하기 좋은 크기로 나누는 역할

---

Embedding Model (임베딩 모델)

역할:
텍스트를 숫자 벡터(Vector)로 변환합니다.

이 과정이 중요한 이유:

컴퓨터는 의미를 이해하지 못하기 때문에
문장의 의미를 수치로 표현해야 합니다.

예시 모델

• OpenAI Embeddings
• Sentence Transformers
• BGE
• E5

한 줄 정리

텍스트를 의미 기반 숫자로 변환하는 역할

---

Vector Store (벡터 데이터베이스)

역할:
임베딩된 데이터를 저장하고 검색하는 데이터베이스입니다.

일반 DB와 다른 점:

• 의미 기반 검색 (Semantic Search) 가능
• 비슷한 문서를 빠르게 찾음

대표적인 벡터 DB

• FAISS
• Chroma
• Pinecone
• Weaviate

한 줄 정리

비슷한 문서를 찾기 위해 벡터를 저장하는 곳

---

Retriever (검색기)

역할:
사용자의 질문과 가장 관련 있는 문서를 찾아오는 단계입니다.

동작 방식:

1. 질문을 임베딩으로 변환
2. 벡터 DB에서 유사한 문서 검색
3. 상위 k개 문서 반환

핵심 포인트

• RAG 성능의 핵심 요소
• 검색 품질이 답변 품질을 결정

한 줄 정리

질문과 가장 관련 있는 문서를 찾는 역할

---

LLM (Large Language Model)

역할:
검색된 문서를 기반으로 최종 답변을 생성합니다.

 

여기서 중요한 점:

LLM은 외부 지식을 직접 학습하지 않아도,
검색된 정보를 활용해 정확한 답변을 생성할 수 있습니다.

 

예시 모델

• GPT
• Claude
• Llama
• Gemini

한 줄 정리

검색된 정보를 바탕으로 답변을 만드는 역할

---

정리

RAG 시스템의 주요 구성 요소는 다음 6가지입니다.

1. Document Loader — 데이터를 불러옴
2. Text Splitter — 문서를 작은 단위로 나눔
3. Embedding Model — 텍스트를 벡터로 변환
4. Vector Store — 벡터를 저장하고 검색
5. Retriever — 관련 문서를 찾음
6. LLM — 답변을 생성