이전 qdrant로 vectorDB를 구성했다.https://pleasestudy-alswldi.tistory.com/340 [RAG프로젝트] Vector DB -qdrant이전 qdrant라는 vectorDB에 대해 알아보았다.https://pleasestudy-alswldi.tistory.com/326 [VectorDB] Qdrant🐹 Qdrant란?벡터 유사도 검색(Vector Similarity Search) 및 벡터 데이터 관리를 위한 오픈소스 데이터베이스이pleasestudy-alswldi.tistory.com 이를 milvus로 구성해보자.  🐹 초기 setting 및 데이터 삽입Milvus Connection 설정     - `connections.connect`로 Milvus 서버에 ..

RAG 시스템에서 외부 검색을 지원하려면 검색엔진을 사용해야한다.선정을 위해 여러 검색엔진을 비교해 보았다.🐹검색 엔진🔍 Searxnghttps://github.com/searxng/searxng GitHub - searxng/searxng: SearXNG is a free internet metasearch engine which aggregates results from various search services andSearXNG is a free internet metasearch engine which aggregates results from various search services and databases. Users are neither tracked nor profiled. - se..

이전 qdrant라는 vectorDB에 대해 알아보았다.https://pleasestudy-alswldi.tistory.com/326 [VectorDB] Qdrant🐹 Qdrant란?벡터 유사도 검색(Vector Similarity Search) 및 벡터 데이터 관리를 위한 오픈소스 데이터베이스이다.높은 성능과 확장성을 제공하면서도 사용자 친화적인 API를 통해 쉽게 설정 및 실행할pleasestudy-alswldi.tistory.com이제 실제 데이터를 올리고 테스트해보자. qdrant 접속 확인qdrant 클라이언트 초기화pip install qdrant_client# Qdrant 클라이언트 생성from qdrant_client import QdrantClientclient = QdrantClien..

이전 openwebui구성 및 파이프라인연결은 아래에서 확인할 수 있다.https://pleasestudy-alswldi.tistory.com/337 OpenWebUI & pipeline 서비스 구성🐹 OpenWebUI에 대해..Open WebUI는 LLM과 상호작용을 위해 설계된 확장 가능하고 사용자 친화적인 웹 인터페이스이다. 처음에는 Ollama를 위해 만들어져 이름이 Ollama Web UI 이나 최근 OpenAI를 지원하면서pleasestudy-alswldi.tistory.com  이렇게 만든 webui에 인터넷 검색 엔진을 추가해보자. openWebUI는 이미 검색 기능을 제공하고 있다. 우리는 발급받은 검색 키를 추가하면 된다.  1️⃣Google PSE API key를 발급받는다https..

🐹 검색엔진 선정 - Google Search agent 네이버, 카카오 등과 같은 검색엔진을 비교하여 google search를 선정하였다.다른 검색 엔진에 대한 내용은 아래에서 확인할 수 있다.https://pleasestudy-alswldi.tistory.com/341 RAG 시스템 검색 엔진 정리RAG 시스템에서 외부 검색을 지원하려면 검색엔진을 사용해야한다.선정을 위해 여러 검색엔진을 비교해 보았다.🐹검색 엔진🔍 Searxnghttps://github.com/searxng/searxng GitHub - searxng/searxng: SearXNG is a freepleasestudy-alswldi.tistory.com  Google Search agent 사용 방법 pip install l..

🐹 OpenWebUI에 대해..Open WebUI는 LLM과 상호작용을 위해 설계된 확장 가능하고 사용자 친화적인 웹 인터페이스이다. 처음에는 Ollama를 위해 만들어져 이름이 Ollama Web UI 이나 최근 OpenAI를 지원하면서 이름이 변경되었다. Open WebUI는 워크 플로우를 생성할 수 없고 기본적으로 제공하는 ui에서 기능을 사용해야하지만 pipeline은 AI 워크플로우를 구축, 관리, 실행하기 위한 포괄적인 프레임 워크이다. 🐹Setting컨테이너 및 애플리케이션 실행Open WebUIdocker run -d -p 2222:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --nam..

LlamaIndex와 LlamaDeploy를 활용하여 RAG 워크플로우를 구축하는 방법을 알아보자.     LlamaIndex의 LlamaDeploy를 사용하여 워크플로우를 정의하고 배포하기 위한 deployment.yml 파일은 아래와 같다.deployment.ymlname: QuickStartcontrol-plane: port: 8000default-service: rag_test_workflowservices: rag_test_workflow: name: RAG TEST Workflow source: type: local name: ./workflows/rag_test path: workflow2:rag_test_workflow   llamaindex 라이브러리..

🐹llama-deploy란?LlamaIndex 기반 애플리케이션의 배포를 간소화하는 도구deployment.yml 파일이 애플리케이션의 배포 설정을 정의하는 데 사용된다.  사용중 아래 에러가 발생했다.Error: 'ModelWrapper' object has no attribute 'tasks’ModelWrapper는 Llama Deploy가 내부적으로 사용하는 객체이다. 아래를 참고하여 버전 fix로 해결했다.https://github.com/run-llama/llama_deploy/blob/main/examples/quick_start/README.md llama_deploy/examples/quick_start/README.md at main · run-llama/llama_deployDeplo..

🐹 Qdrant란?벡터 유사도 검색(Vector Similarity Search) 및 벡터 데이터 관리를 위한 오픈소스 데이터베이스이다.높은 성능과 확장성을 제공하면서도 사용자 친화적인 API를 통해 쉽게 설정 및 실행할 수 있고, Python SDK와 Fast API와의 통합으로 Al/ML 프로젝트에서 효율적으로 사용할 수 있어 널리 사용된다.https://qdrant.tech/ Qdrant - Vector DatabaseQdrant is an Open-Source Vector Database and Vector Search Engine written in Rust. It provides fast and scalable vector similarity search service with conveni..

🐹 LLM 옵션Open Source LLM (상업적 사용 가능)Hugging Face에서 제공하는 모델Falcon-7B, Falcon-40BUAE의 Technology Innovation Institute에서 제공하는 LLM으로, 상업적 이용이 허용된 Apache 2.0 라이선스를 사용.사용 예시: 자연어 텍스트에서 키워드 추출을 위한 대규모 언어 모델.from transformers import pipelinemodel = pipeline("text-generation", model="tiiuae/falcon-7b")prompt = "Extract keywords from the following text: 'This document explains the importance of data priva..