🐹RAG란?RAG(Relevance-Augmented Generation)는 LLM과 검색 시스템(retrieval system)을 결합하여 더 정교하고 정확한 답변을 생성하는 기술을 의미한다. RAG는 질문-응답 시스템, 정보 검색, 문서 생성과 같은 작업에서 활용된다. 기본 아이디어는 검색된 외부 데이터를 생성 모델에 제공하여 정보 부족이나 최신성 문제를 해결하는 것이다. 🐹 작동 원리검색(Search)   - 사용자의 질문(질의)에 대해 외부 데이터베이스나 문서 저장소에서 관련 정보를 찾는 과정   - 검색 시스템은 아래와 같은 알고리즘을 활용하여 관련 문서를 추출한다     - BM25: 전통적인 문서 검색 알고리즘으로 텍스트 유사도에 기반.      - Dense Passage Retriev..

🐹 임베딩 모델이란?임베딩 모델은 텍스트, 이미지, 음성과 같은 데이터를 벡터 공간으로 변환하는 역할을 하는 모델을 말한다.벡터들은 숫자 값으로 이루어진 고차원 공간에서 표현된다. 이를 통해 데이터 간의 의미적 유사성을 비교하거나 분석할 수 있다. M3-Embedding모델에 대해 정리해봤다. https://arxiv.org/pdf/2402.03216  AbstractM3-Embedding은 multi-linguality(다국어 지원), multi-functionality(다기능성), muti-granularity(다중 그레뉼러리티)를 갖추고 있다이 모델은 Dense Retrieval, multi-vector retrieval, sparse retrieval의 세가지의 주요 검색 기능을 동시에 수행할 ..

이전에 LlamaIndex를 통해 RAG를 구현해봤다.https://pleasestudy-alswldi.tistory.com/316 LlamaIndex란? workflow 코드로 구현하기!🦙LlamaIndex정보 검색과 LLM의 강력한 자연어 처리 능력을 결합하여, 대규모 데이터를 효과적으로 관리하고 쿼리할 수 있는 프레임워크이다. LLM을 개인 데이터로 강화하기 위해 설계된 데이터 프pleasestudy-alswldi.tistory.com 이제 Phoenix를 연결하여 워크플로우를 추적, 시각화해보고자 한다. LlamaIndex가 처리하는 데이터의 흐름과 모델의 성능은 Phoenix에서 모니터링하고 분석할 수 있다. 🐹 Phoenix란?Phoenix는 Arize AI에서 제공하는 AI 및 머신러닝 ..

🤔 현재 깔려있는 파이썬은 3.8버전인데 새로 만드는 폴더만 3.10에서 돌아가게 하고 싶으면 어떻게 하는게 좋을까?답은 바로 가상 환경을 사용하는 것이다!😊 🐹가상 환경이란?가상 환경(Virtual Environment)은 파이썬 프로젝트별로 독립적인 환경을 제공하는 도구이다.이 독립적인 환경은 다른 프로젝트와 분리된 파이썬 인터프리터와 패키지를 사용하게 해준다. 이를 통해 각 프로젝트가 서로 영향을 주지 않도록 설정할 수 있다! 🐹왜 사용해야 할까?위의 예시처럼 특정 프로젝트 별로 다른 버전이 필요할때 사용한다. 파이썬이 아니더라도, 다른 패키지 간의 충돌을 막을 수 있다.예를 들어, A 프로젝트에서는 numpy==1.19.5가 필요하고, B 프로젝트에서는 numpy==1.21.0이 필요할 수..

🦙LlamaIndex정보 검색과 LLM의 강력한 자연어 처리 능력을 결합하여, 대규모 데이터를 효과적으로 관리하고 쿼리할 수 있는 프레임워크이다. LLM을 개인 데이터로 강화하기 위해 설계된 데이터 프레임 워크라고도 할 수 있다.  llamaindex는 개인 데이터를 가져오고 구조화 하는 도구를 제공하며, 데이터에 대한 고급 검색/ 쿼리 인터페이스를 생성한다. 또한  외부 응용 프레임 워크와 쉽게 통합할 수 있도록 지원한다.   그 외 특징은 아래와 같다!데이터 수집 : 외부의 데이터 소스로부터 데이터를 가져옴데이터 색인: 데이터를 정리하고 색인 생성 ( 데이터가 체계적으로 저장 ← 사용자가 데이터를 쉽게 찾을 수 있음질의 인터페이스: 사용자가 데이터에 쿼리를 날리 수 있는 인터페이스 제공https:/..

🐹ElasticSearch오픈 소스 분산형 검색 및 분석 엔진 으로, 대규모 데이터를 빠르게 검색하고 분석하는 데 사용된다.텍스트 검색, 로그 분석, 데이터 시각화와 같은 다양한 분야에서 활용되며, 특히 실시간 검색과 데이터 처리에 최적화 되어있다. 🐹특징데이터를 indexing 하여 빠른 검색 가능 및 실시간으로 데이터를 저장, 검색, 분석 가능분산 아키텍처 기반으로 설계 → 여러 노드에 데이터를 분산 저장 ( 데이터 크기와 요청량이 증가해도 수평적 확장가능)데이터는 JSON기반으로 저장하고 RESTful API로 접근하여 다양한 프로그래밍 언어와 쉽게 통합 가능데이터 집계 기능을 통해 통계, 평균, 최대값/최솟값 등 데이터를 실시간으로 분석 가능Kibana를 사용하여 데이터를 시각화 및 모니터링 ..

문제https://swexpertacademy.com/main/code/problem/problemDetail.do?contestProbId=AV5PobmqAPoDFAUq SW Expert AcademySW 프로그래밍 역량 강화에 도움이 되는 다양한 학습 컨텐츠를 확인하세요!swexpertacademy.com어디선가 많이 본, 빙글빙글 돌면서 숫자를 출력하는 문제이다.   🐌 풀이move로 이동할 좌표 순서를 지정 (오른쪽, 아래, 왼쪽, 위) 후 index가 범위를 초과하거나 이미 숫자가 쓰여있으면 move를 옮긴다.T=int(input())for test_case in range(1,T+1): n=int(input()) k=1 result_list=[] move=[(0,1),(..

문제https://swexpertacademy.com/main/code/problem/problemDetail.do?problemLevel=4&contestProbId=AV15QRX6APsCFAYD&categoryId=AV15QRX6APsCFAYD&categoryType=CODE&problemTitle=&orderBy=INQUERY_COUNT&selectCodeLang=ALL&select-1=4&pageSize=10&pageIndex=1 SW Expert AcademySW 프로그래밍 역량 강화에 도움이 되는 다양한 학습 컨텐츠를 확인하세요!swexpertacademy.comN*N차원의 배열이 주어질때, S에서 G로 가는 가장 작은 가중치를 찾는 문제이다.   풀이BFS기반의 다익스트라로 풀었다.num_m..

🫠문제https://swexpertacademy.com/main/code/problem/problemDetail.do?contestProbId=AV15Khn6AN0CFAYD&categoryId=AV15Khn6AN0CFAYD&categoryType=CODE&problemTitle=&orderBy=FIRST_REG_DATETIME&selectCodeLang=ALL&select-1=&pageSize=10&pageIndex=1 SW Expert AcademySW 프로그래밍 역량 강화에 도움이 되는 다양한 학습 컨텐츠를 확인하세요!swexpertacademy.com숫자들의 주어진 수 만큼 교환하여 가장 큰수를 만드는 문제이다  😎풀이백트레킹으로 해결했다(해당 회차, 숫자리스트) 로 visited 여부를 확인하..

문제https://swexpertacademy.com/main/code/problem/problemDetail.do?contestProbId=AY9QUhl6cfQDFAVF SW Expert AcademySW 프로그래밍 역량 강화에 도움이 되는 다양한 학습 컨텐츠를 확인하세요!swexpertacademy.com비어있는 자리(X)로 상자들을 이동하면서, 정렬하는 문제이다!  🎁 풀이처음에 어떤 순서로 옮겨야할지 고민했는데, " 이러한 방법을 아무거나 하나 구하는 프로그램" 으로 명시되어있어서,왼쪽부터 정렬되지 않은 첫번째 상자를 X로 바꾼후, 그 자리를 sort하는 식으로 풀었다. T=int(input())for _ in range(T): N=int(input()) n_list=list(map(..