🐹 LLM 옵션Open Source LLM (상업적 사용 가능)Hugging Face에서 제공하는 모델Falcon-7B, Falcon-40BUAE의 Technology Innovation Institute에서 제공하는 LLM으로, 상업적 이용이 허용된 Apache 2.0 라이선스를 사용.사용 예시: 자연어 텍스트에서 키워드 추출을 위한 대규모 언어 모델.from transformers import pipelinemodel = pipeline("text-generation", model="tiiuae/falcon-7b")prompt = "Extract keywords from the following text: 'This document explains the importance of data priva..

🐹 vLLM이란? 대표적인 LLM 추론 프레임워크 중 하나로, 최신 GPU 메모리 관리 기술과 효율적인 데이터 처리를 통해 낮은 지연 시간(latency)과 높은 처리량(throughput)을 제공한다.  허깅페이스의 유명 모델을 중심으로 서빙을 지원하며 사용가능한 모델을 확대하고 있다.지원하는 모델은 여기 에서 확인할 수 있다.  🐹 주요 특징Efficient Tensor ParallelismvLLM은 텐서 병렬화(tensor parallelism)를 효율적으로 지원하여 LLM의 대규모 파라미터를 여러 GPU에 걸쳐 분산 처리기존의 병렬화 방식보다 메모리 사용 효율을 높이고, 모델 크기에 비례하는 확장성을 제공Fast Inference with Continuous Batch ProcessingvLL..

다음과 같은 에러가 발생했다. raise RuntimeError(RuntimeError: Failed to import transformers.trainer because of the following error (look up to see its traceback): CUDA Setup failed despite GPU being available. Please run the following command to get more information: python -m bitsandbytes Inspect the output of the command and see if you can locate CUDA libraries. You might need to add ..

🐹RAG란?RAG(Relevance-Augmented Generation)는 LLM과 검색 시스템(retrieval system)을 결합하여 더 정교하고 정확한 답변을 생성하는 기술을 의미한다. RAG는 질문-응답 시스템, 정보 검색, 문서 생성과 같은 작업에서 활용된다. 기본 아이디어는 검색된 외부 데이터를 생성 모델에 제공하여 정보 부족이나 최신성 문제를 해결하는 것이다. 🐹 작동 원리검색(Search)   - 사용자의 질문(질의)에 대해 외부 데이터베이스나 문서 저장소에서 관련 정보를 찾는 과정   - 검색 시스템은 아래와 같은 알고리즘을 활용하여 관련 문서를 추출한다     - BM25: 전통적인 문서 검색 알고리즘으로 텍스트 유사도에 기반.      - Dense Passage Retriev..

🐹 임베딩 모델이란?임베딩 모델은 텍스트, 이미지, 음성과 같은 데이터를 벡터 공간으로 변환하는 역할을 하는 모델을 말한다.벡터들은 숫자 값으로 이루어진 고차원 공간에서 표현된다. 이를 통해 데이터 간의 의미적 유사성을 비교하거나 분석할 수 있다. M3-Embedding모델에 대해 정리해봤다. https://arxiv.org/pdf/2402.03216  AbstractM3-Embedding은 multi-linguality(다국어 지원), multi-functionality(다기능성), muti-granularity(다중 그레뉼러리티)를 갖추고 있다이 모델은 Dense Retrieval, multi-vector retrieval, sparse retrieval의 세가지의 주요 검색 기능을 동시에 수행할 ..

이전에 LlamaIndex를 통해 RAG를 구현해봤다.https://pleasestudy-alswldi.tistory.com/316 LlamaIndex란? workflow 코드로 구현하기!🦙LlamaIndex정보 검색과 LLM의 강력한 자연어 처리 능력을 결합하여, 대규모 데이터를 효과적으로 관리하고 쿼리할 수 있는 프레임워크이다. LLM을 개인 데이터로 강화하기 위해 설계된 데이터 프pleasestudy-alswldi.tistory.com 이제 Phoenix를 연결하여 워크플로우를 추적, 시각화해보고자 한다. LlamaIndex가 처리하는 데이터의 흐름과 모델의 성능은 Phoenix에서 모니터링하고 분석할 수 있다. 🐹 Phoenix란?Phoenix는 Arize AI에서 제공하는 AI 및 머신러닝 ..

🤔 현재 깔려있는 파이썬은 3.8버전인데 새로 만드는 폴더만 3.10에서 돌아가게 하고 싶으면 어떻게 하는게 좋을까?답은 바로 가상 환경을 사용하는 것이다!😊 🐹가상 환경이란?가상 환경(Virtual Environment)은 파이썬 프로젝트별로 독립적인 환경을 제공하는 도구이다.이 독립적인 환경은 다른 프로젝트와 분리된 파이썬 인터프리터와 패키지를 사용하게 해준다. 이를 통해 각 프로젝트가 서로 영향을 주지 않도록 설정할 수 있다! 🐹왜 사용해야 할까?위의 예시처럼 특정 프로젝트 별로 다른 버전이 필요할때 사용한다. 파이썬이 아니더라도, 다른 패키지 간의 충돌을 막을 수 있다.예를 들어, A 프로젝트에서는 numpy==1.19.5가 필요하고, B 프로젝트에서는 numpy==1.21.0이 필요할 수..

🦙LlamaIndex정보 검색과 LLM의 강력한 자연어 처리 능력을 결합하여, 대규모 데이터를 효과적으로 관리하고 쿼리할 수 있는 프레임워크이다. LLM을 개인 데이터로 강화하기 위해 설계된 데이터 프레임 워크라고도 할 수 있다.  llamaindex는 개인 데이터를 가져오고 구조화 하는 도구를 제공하며, 데이터에 대한 고급 검색/ 쿼리 인터페이스를 생성한다. 또한  외부 응용 프레임 워크와 쉽게 통합할 수 있도록 지원한다.   그 외 특징은 아래와 같다!데이터 수집 : 외부의 데이터 소스로부터 데이터를 가져옴데이터 색인: 데이터를 정리하고 색인 생성 ( 데이터가 체계적으로 저장 ← 사용자가 데이터를 쉽게 찾을 수 있음질의 인터페이스: 사용자가 데이터에 쿼리를 날리 수 있는 인터페이스 제공https:/..

🐹ElasticSearch오픈 소스 분산형 검색 및 분석 엔진 으로, 대규모 데이터를 빠르게 검색하고 분석하는 데 사용된다.텍스트 검색, 로그 분석, 데이터 시각화와 같은 다양한 분야에서 활용되며, 특히 실시간 검색과 데이터 처리에 최적화 되어있다. 🐹특징데이터를 indexing 하여 빠른 검색 가능 및 실시간으로 데이터를 저장, 검색, 분석 가능분산 아키텍처 기반으로 설계 → 여러 노드에 데이터를 분산 저장 ( 데이터 크기와 요청량이 증가해도 수평적 확장가능)데이터는 JSON기반으로 저장하고 RESTful API로 접근하여 다양한 프로그래밍 언어와 쉽게 통합 가능데이터 집계 기능을 통해 통계, 평균, 최대값/최솟값 등 데이터를 실시간으로 분석 가능Kibana를 사용하여 데이터를 시각화 및 모니터링 ..

문제https://swexpertacademy.com/main/code/problem/problemDetail.do?contestProbId=AV5PobmqAPoDFAUq SW Expert AcademySW 프로그래밍 역량 강화에 도움이 되는 다양한 학습 컨텐츠를 확인하세요!swexpertacademy.com어디선가 많이 본, 빙글빙글 돌면서 숫자를 출력하는 문제이다.   🐌 풀이move로 이동할 좌표 순서를 지정 (오른쪽, 아래, 왼쪽, 위) 후 index가 범위를 초과하거나 이미 숫자가 쓰여있으면 move를 옮긴다.T=int(input())for test_case in range(1,T+1): n=int(input()) k=1 result_list=[] move=[(0,1),(..