이전 qdrant로 vectorDB를 구성했다.https://pleasestudy-alswldi.tistory.com/340 [RAG프로젝트] Vector DB -qdrant이전 qdrant라는 vectorDB에 대해 알아보았다.https://pleasestudy-alswldi.tistory.com/326 [VectorDB] Qdrant🐹 Qdrant란?벡터 유사도 검색(Vector Similarity Search) 및 벡터 데이터 관리를 위한 오픈소스 데이터베이스이pleasestudy-alswldi.tistory.com 이를 milvus로 구성해보자.  🐹 초기 setting 및 데이터 삽입Milvus Connection 설정     - `connections.connect`로 Milvus 서버에 ..

이전 openwebui구성 및 파이프라인연결은 아래에서 확인할 수 있다.https://pleasestudy-alswldi.tistory.com/337 OpenWebUI & pipeline 서비스 구성🐹 OpenWebUI에 대해..Open WebUI는 LLM과 상호작용을 위해 설계된 확장 가능하고 사용자 친화적인 웹 인터페이스이다. 처음에는 Ollama를 위해 만들어져 이름이 Ollama Web UI 이나 최근 OpenAI를 지원하면서pleasestudy-alswldi.tistory.com  이렇게 만든 webui에 인터넷 검색 엔진을 추가해보자. openWebUI는 이미 검색 기능을 제공하고 있다. 우리는 발급받은 검색 키를 추가하면 된다.  1️⃣Google PSE API key를 발급받는다https..

🐹 검색엔진 선정 - Google Search agent 네이버, 카카오 등과 같은 검색엔진을 비교하여 google search를 선정하였다.다른 검색 엔진에 대한 내용은 아래에서 확인할 수 있다.https://pleasestudy-alswldi.tistory.com/341 RAG 시스템 검색 엔진 정리RAG 시스템에서 외부 검색을 지원하려면 검색엔진을 사용해야한다.선정을 위해 여러 검색엔진을 비교해 보았다.🐹검색 엔진🔍 Searxnghttps://github.com/searxng/searxng GitHub - searxng/searxng: SearXNG is a freepleasestudy-alswldi.tistory.com  Google Search agent 사용 방법 pip install l..

🐹 OpenWebUI에 대해..Open WebUI는 LLM과 상호작용을 위해 설계된 확장 가능하고 사용자 친화적인 웹 인터페이스이다. 처음에는 Ollama를 위해 만들어져 이름이 Ollama Web UI 이나 최근 OpenAI를 지원하면서 이름이 변경되었다. Open WebUI는 워크 플로우를 생성할 수 없고 기본적으로 제공하는 ui에서 기능을 사용해야하지만 pipeline은 AI 워크플로우를 구축, 관리, 실행하기 위한 포괄적인 프레임 워크이다. 🐹Setting컨테이너 및 애플리케이션 실행Open WebUIdocker run -d -p 2222:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --nam..

LlamaIndex와 LlamaDeploy를 활용하여 RAG 워크플로우를 구축하는 방법을 알아보자.     LlamaIndex의 LlamaDeploy를 사용하여 워크플로우를 정의하고 배포하기 위한 deployment.yml 파일은 아래와 같다.deployment.ymlname: QuickStartcontrol-plane: port: 8000default-service: rag_test_workflowservices: rag_test_workflow: name: RAG TEST Workflow source: type: local name: ./workflows/rag_test path: workflow2:rag_test_workflow   llamaindex 라이브러리..

🐹llama-deploy란?LlamaIndex 기반 애플리케이션의 배포를 간소화하는 도구deployment.yml 파일이 애플리케이션의 배포 설정을 정의하는 데 사용된다.  사용중 아래 에러가 발생했다.Error: 'ModelWrapper' object has no attribute 'tasks’ModelWrapper는 Llama Deploy가 내부적으로 사용하는 객체이다. 아래를 참고하여 버전 fix로 해결했다.https://github.com/run-llama/llama_deploy/blob/main/examples/quick_start/README.md llama_deploy/examples/quick_start/README.md at main · run-llama/llama_deployDeplo..

🐹 vLLM이란? 대표적인 LLM 추론 프레임워크 중 하나로, 최신 GPU 메모리 관리 기술과 효율적인 데이터 처리를 통해 낮은 지연 시간(latency)과 높은 처리량(throughput)을 제공한다.  허깅페이스의 유명 모델을 중심으로 서빙을 지원하며 사용가능한 모델을 확대하고 있다.지원하는 모델은 여기 에서 확인할 수 있다.  🐹 주요 특징Efficient Tensor ParallelismvLLM은 텐서 병렬화(tensor parallelism)를 효율적으로 지원하여 LLM의 대규모 파라미터를 여러 GPU에 걸쳐 분산 처리기존의 병렬화 방식보다 메모리 사용 효율을 높이고, 모델 크기에 비례하는 확장성을 제공Fast Inference with Continuous Batch ProcessingvLL..

이전에 LlamaIndex를 통해 RAG를 구현해봤다.https://pleasestudy-alswldi.tistory.com/316 LlamaIndex란? workflow 코드로 구현하기!🦙LlamaIndex정보 검색과 LLM의 강력한 자연어 처리 능력을 결합하여, 대규모 데이터를 효과적으로 관리하고 쿼리할 수 있는 프레임워크이다. LLM을 개인 데이터로 강화하기 위해 설계된 데이터 프pleasestudy-alswldi.tistory.com 이제 Phoenix를 연결하여 워크플로우를 추적, 시각화해보고자 한다. LlamaIndex가 처리하는 데이터의 흐름과 모델의 성능은 Phoenix에서 모니터링하고 분석할 수 있다. 🐹 Phoenix란?Phoenix는 Arize AI에서 제공하는 AI 및 머신러닝 ..

🦙LlamaIndex정보 검색과 LLM의 강력한 자연어 처리 능력을 결합하여, 대규모 데이터를 효과적으로 관리하고 쿼리할 수 있는 프레임워크이다. LLM을 개인 데이터로 강화하기 위해 설계된 데이터 프레임 워크라고도 할 수 있다.  llamaindex는 개인 데이터를 가져오고 구조화 하는 도구를 제공하며, 데이터에 대한 고급 검색/ 쿼리 인터페이스를 생성한다. 또한  외부 응용 프레임 워크와 쉽게 통합할 수 있도록 지원한다.   그 외 특징은 아래와 같다!데이터 수집 : 외부의 데이터 소스로부터 데이터를 가져옴데이터 색인: 데이터를 정리하고 색인 생성 ( 데이터가 체계적으로 저장 ← 사용자가 데이터를 쉽게 찾을 수 있음질의 인터페이스: 사용자가 데이터에 쿼리를 날리 수 있는 인터페이스 제공https:/..