RAG란

RAG embedding Vector_DB

RAG(Retrieval Augmented Generation)

RAG(검색 증강 생성)

• 대규모 언어 모델(LLM)이 답변을 생성할 때, 단순히 학습 데이터에 의존하는 것이 아니라 외부의 신뢰할 수 있는 데이터 소스에서 관련 정보를 검색하여 추가함으로써 답변의 정확성을 높이는 기술.
• 짧게 말해, RAG는 사용자의 질문과 관련된 정보를 외부 데이터베이스에서 검색하여, 이를 기반으로 더 나은 답변을 생성해주는 기술이다.

RAG의 작동 방식

검색(Retrieval)

• 사용자의 질문에 따라 관련성이 높은 정보를 외부 지식 베이스(예: 데이터베이스, 문서 집합)에서 검색

증강(Augmentation)

• 검색된 정보를 LLM의 입력 프롬프트에 함께 넣어 제공한다.

생성(Generation)

• LLM은 기존의 학습된 지식과 검색된 외부 정보를 결합하여, 더 정확하고 구체적인 답변을 생성한다.

---

일반적인 LLM 작동 방식

RAG 작동 방식

---

RAG의 주요 장점

경제적

• LLM을 학습(또는 파인튜닝)하거나, 학습시킬 양질의 데이터를 구축하는데 많은 시간과 비용이 들지만, RAG는 그럴 필요가 없어 경제적이다.

정확성 향상

• LLM의 할루시네이션(환각 현상)을 줄이고, 검증 가능한 출처를 바탕으로 답변하여 정확성을 높인다.

최신 정보 활용

• 외부 데이터 베이스를 통해 최신 정보를 활용할 수 있어, 학습 데이터가 오래되었을 경우 발생하는 문제를 해결한다.

확장성 및 유연성

• 새로운 정보가 생길 때마다 LLM 전체를 재학습시킬 필요 없이, 외부 데이터베이스만 업데이트하면 되므로 효율적이다.

맞춤형 답변 제공

• 특정 사용 사례나 독점적인 데이터 소스를 기반으로 맞춤화된 답변을 생성할 수 있다.

RAG의 기본적인 파이프 라인

---

RAG 파이프라인

---

1️⃣ Embedding

---

---

• 임베딩(Embedding)은 텍스트(문장)를 수치 벡터(Vector) 형식으로 변환하는 과정
• 임베딩의 목적은 문장과 문장 사이의 유사도를 계산하기 위함이며, 임베딩 모델은 의미가 비슷한 문장들이 서로 가깝게 위치할 수 있도록 학습되어 있다. → ==* 문장 사이의 거리가 짧다 = 유사한 의미를 가진 문장이다. *==
• 임베딩을 통한 거리 개념을 활용해서 사용자의 Query와 관련된 문장들을 데이터베이스로부터 검색할 수 있게 된다.

2️⃣ Vector DB

---

---

• Vector DB는 검색될 문서들이 vector 형식으로 저장되어 있는 저장소
• 이때 문서들을 통째로 임베딩하여 하나의 vector로 만들어내는 것이 아닌, 해당 문서들을 더욱 더 작은 단위인 **청크(Chunk)**로 쪼개서 임베딩을 하게 된다.
• 청크는 RAG에서 가장 중요한 부분 중 하나로, 모델이 원하는 정보를 찾지 못하는 이유 중 상당수는 전처리에 있다. 따라서 청크를 어떤 크기로 설정할지 결정하는 일은 단순히 성능 최적화를 넘어서, 답변의 품질 자체를 결정한다.
• 일반적으로 청크는 1000자, 500자 단위로 자르지만 의미 단위로 자르는 것이 가장 중요하다. 청크의 크기를 정하는 좋은 기준으로는:
  1. 하나의 문단은 하나의 주제를 다룰 것.
  2. 질문-답변처럼 짝이 있는 구조는 함께 유지할 것(ex. Q&A 문서)
  3. 문장 중간이 아니라, 의미가 자연스레 끝나는 지점에서 자를 것
  4. 적절한 Overlap¹(10~20%)을 줘서 문맥이 자연스럽게 이어지게 할 것.

청크(Chunk)를 하는 이유

• 청크(Chunk)란, 큰 텍스트 데이터를 작은 조각으로 나누는 것을 말한다.
• 한 번에 너무 많은 텍스트를 처리하면 모델의 한계(예: 토큰 제한)에 걸리기 때문에, 효율적인 검색을 위해 청크로 나누어 처리한다. 텍스트가 너무 긴 경우에는 핵심 정보 이외에 불필요한 정보들이 많아, 임베딩된 vector의 품질이 낮아질 수 있다.

Chunk의 예시

stateDiagram-v2
classDef bigbold font-weight:bold,font-size:20px
classDef justbold font-weight:bold
classDef wide padding:400px
	OriginalText: 원문
	OriginalText:::bigbold
	Chunk1:::justbold
	Chunk2:::justbold
	Chunk3:::justbold
	a1:::wide
	state OriginalText {
		a1 --> Chunks
		a1: "강화 학습은 보상을 통해 학습하는 방법입니다. 이는 에이전트가 환경과 상호작용하며 적절한 행동을 선택하는 과정입니다. 딥러닝과 결합하면 더욱 강력해집니다."
	}
	Chunks: 청크
	Chunks:::bigbold
	state Chunks {
		Chunk1: 청크 1
		state Chunk1 {
			c1
			c1: "강화 학습은 보상을 통해 학습하는 방법입니다."
		}
		Chunk2: 청크 2
		state Chunk2 {
		    c2
		    c2: "이는 에이전트가 환경과 상호작용하며 적절한 행동을 선택하는 과정입니다."
		}
		Chunk3: 청크 3
       state Chunk3 {
		    c3
		    c3: "딥러닝과 결합하면 더욱 강력해집니다."
		}
	}

3️⃣ Retrieve

---

---

• 임베딩을 활용한 유사도 검색 방법
• ① 질문을 Embedding한 값과 ② 청크를 임베딩한 값의 코사인 유사도를 계산하여 가장 유사한 청크를 검색한다. 벡터간 거리 측정하는 다양한 계산식을 정리한 블로그
• Vector DB에 있는 수많은 벡터들에 대해서 각각 유사도를 다 측정하게 되면 시간이 엄청 오래 걸리기 때문에 ANN(Approximate Nearest Neighbor) 알고리즘을 적용한다

  ANN(근사 최근접 이웃) 알고리즘

  • 전통적인 최근접 이웃(NN) 검색과 달리 정확한 이웃 대신 “근사적으로 가까운 이웃”을 빠르게 찾는 데 중점을 둔 알고리즘이다.
  • 대규모 데이터 세트, 고차원 데이터(고차원 텍스트 임베딩, 이미지, 오디오 데이터), 실시간 어플리케이션(챗봇, 검색엔진) 등에 활용된다.

---

벡터 임베딩 기반의 RAG에 대하여 비판적인 시각을 갖고 있는 글도 많다. 시간 날 때 읽어보자. 상당히 공감이 많이 된다. Medium | The Insanity of Relying on Vector Embeddings: Why RAG Fails 위의 기사를 한국어로 정리한 블로그

Footnotes

1. 청크 간 겹침(Chunk Overlap) 범위를 말한다. 문서를 청크로 나누는 과정에서 문맥이 손실되는 문제를 해결하기 위한 방식으로, 인접한 청크 사이에 일부 내용을 겹치게 만들어 문맥을 보존한다. ↩