RAG란?

🐹RAG란?

오라클의 자료

RAG(Relevance-Augmented Generation)는 LLM과 검색 시스템(retrieval system)을 결합하여 더 정교하고 정확한 답변을 생성하는 기술을 의미한다. RAG는 질문-응답 시스템, 정보 검색, 문서 생성과 같은 작업에서 활용된다. 기본 아이디어는 검색된 외부 데이터를 생성 모델에 제공하여 정보 부족이나 최신성 문제를 해결하는 것이다.

 

🐹 작동 원리

검색(Search)
   - 사용자의 질문(질의)에 대해 외부 데이터베이스나 문서 저장소에서 관련 정보를 찾는 과정
   - 검색 시스템은 아래와 같은 알고리즘을 활용하여 관련 문서를 추출한다
     - BM25: 전통적인 문서 검색 알고리즘으로 텍스트 유사도에 기반.
     - Dense Passage Retrieval (DPR): 학습된 임베딩을 사용해 질의와 문서 간 유사도를 계산.
     - FAISS: 고차원 벡터를 효율적으로 검색하는 라이브러리로, 대규모 데이터에서 빠른 검색 가능.
   - 검색 단계의 출력은 사용자 질문과 연관된 문서나 텍스트 조각.
생성(Generation)
   - 검색된 문서를 기반으로 언어 모델이 질문에 대한 답변을 생성한다
   - 생성 모델은 Transformer 기반의 대규모 언어 모델(예: GPT, T5)을 활용.
   - 검색 단계에서 제공된 문서를 컨텍스트로 사용하여 질문에 대해 문맥적이고 세밀한 답변을 생성.
   - 검색되지 않은 데이터에 의존하지 않으므로 답변의 정확성이 높아짐.

 

 

참고 

https://yozm.wishket.com/magazine/detail/2828/

10분 만에 RAG 이해하기 | 요즘IT

https://byline.network/2024/02/240219_003/