🐹 MCP란?https://modelcontextprotocol.io/introduction Introduction - Model Context ProtocolUnderstand how MCP connects clients, servers, and LLMsmodelcontextprotocol.io 2024년 말 앤트로픽(Anthropic)에 의해 개발된 애플리케이션이 LLM에게 컨텍스트 정보를 제공하는 방식을 표준화한 개방형 프로토콜이다.다양한 데이터 소스와 도구를 AI 모델에 연결하는 표준화된 방법을 제공한다. MCP를 쉽게 HTTP프로토콜이나, C타입 단자에 비유하는걸 보았는데 AI가 초기에 학습한 데이터 외에도 실시간으로 다양한 소스의 데이터를 활용할수 있게 해준다고 생각할 수 있다.  🐹 MC..

이전 qdrant로 vectorDB를 구성했다.https://pleasestudy-alswldi.tistory.com/340 [RAG프로젝트] Vector DB -qdrant이전 qdrant라는 vectorDB에 대해 알아보았다.https://pleasestudy-alswldi.tistory.com/326 [VectorDB] Qdrant🐹 Qdrant란?벡터 유사도 검색(Vector Similarity Search) 및 벡터 데이터 관리를 위한 오픈소스 데이터베이스이pleasestudy-alswldi.tistory.com 이를 milvus로 구성해보자.  🐹 초기 setting 및 데이터 삽입Milvus Connection 설정     - `connections.connect`로 Milvus 서버에 ..

RAG 시스템에서 외부 검색을 지원하려면 검색엔진을 사용해야한다.선정을 위해 여러 검색엔진을 비교해 보았다.🐹검색 엔진🔍 Searxnghttps://github.com/searxng/searxng GitHub - searxng/searxng: SearXNG is a free internet metasearch engine which aggregates results from various search services andSearXNG is a free internet metasearch engine which aggregates results from various search services and databases. Users are neither tracked nor profiled. - se..

이전 qdrant라는 vectorDB에 대해 알아보았다.https://pleasestudy-alswldi.tistory.com/326 [VectorDB] Qdrant🐹 Qdrant란?벡터 유사도 검색(Vector Similarity Search) 및 벡터 데이터 관리를 위한 오픈소스 데이터베이스이다.높은 성능과 확장성을 제공하면서도 사용자 친화적인 API를 통해 쉽게 설정 및 실행할pleasestudy-alswldi.tistory.com이제 실제 데이터를 올리고 테스트해보자. qdrant 접속 확인qdrant 클라이언트 초기화pip install qdrant_client# Qdrant 클라이언트 생성from qdrant_client import QdrantClientclient = QdrantClien..

이전 openwebui구성 및 파이프라인연결은 아래에서 확인할 수 있다.https://pleasestudy-alswldi.tistory.com/337 OpenWebUI & pipeline 서비스 구성🐹 OpenWebUI에 대해..Open WebUI는 LLM과 상호작용을 위해 설계된 확장 가능하고 사용자 친화적인 웹 인터페이스이다. 처음에는 Ollama를 위해 만들어져 이름이 Ollama Web UI 이나 최근 OpenAI를 지원하면서pleasestudy-alswldi.tistory.com  이렇게 만든 webui에 인터넷 검색 엔진을 추가해보자. openWebUI는 이미 검색 기능을 제공하고 있다. 우리는 발급받은 검색 키를 추가하면 된다.  1️⃣Google PSE API key를 발급받는다https..

🐹 검색엔진 선정 - Google Search agent 네이버, 카카오 등과 같은 검색엔진을 비교하여 google search를 선정하였다.다른 검색 엔진에 대한 내용은 아래에서 확인할 수 있다.https://pleasestudy-alswldi.tistory.com/341 RAG 시스템 검색 엔진 정리RAG 시스템에서 외부 검색을 지원하려면 검색엔진을 사용해야한다.선정을 위해 여러 검색엔진을 비교해 보았다.🐹검색 엔진🔍 Searxnghttps://github.com/searxng/searxng GitHub - searxng/searxng: SearXNG is a freepleasestudy-alswldi.tistory.com  Google Search agent 사용 방법 pip install l..

🐹 OpenWebUI에 대해..Open WebUI는 LLM과 상호작용을 위해 설계된 확장 가능하고 사용자 친화적인 웹 인터페이스이다. 처음에는 Ollama를 위해 만들어져 이름이 Ollama Web UI 이나 최근 OpenAI를 지원하면서 이름이 변경되었다. Open WebUI는 워크 플로우를 생성할 수 없고 기본적으로 제공하는 ui에서 기능을 사용해야하지만 pipeline은 AI 워크플로우를 구축, 관리, 실행하기 위한 포괄적인 프레임 워크이다. 🐹Setting컨테이너 및 애플리케이션 실행Open WebUIdocker run -d -p 2222:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --nam..

🐹에러 발생프로젝트 중 아래와 같은 에러가 발생했다.BitsAndBytes 라이브러리가 CUDA 환경을 올바르게 설정하지 못한 경우 발생하는 에러이다./usr/local/lib/python3.10/dist-packages/torchvision/io/image.py:13: UserWarning: Failed to load image Python extension: '/usr/local/lib/python3.10/dist-packages/torchvision/image.so: undefined symbol: _ZN3c1017RegisterOperatorsD1Ev'If you don't plan on using image functionality from `torchvision.io`, you can ign..

LlamaIndex와 LlamaDeploy를 활용하여 RAG 워크플로우를 구축하는 방법을 알아보자.     LlamaIndex의 LlamaDeploy를 사용하여 워크플로우를 정의하고 배포하기 위한 deployment.yml 파일은 아래와 같다.deployment.ymlname: QuickStartcontrol-plane: port: 8000default-service: rag_test_workflowservices: rag_test_workflow: name: RAG TEST Workflow source: type: local name: ./workflows/rag_test path: workflow2:rag_test_workflow   llamaindex 라이브러리..

🐹llama-deploy란?LlamaIndex 기반 애플리케이션의 배포를 간소화하는 도구deployment.yml 파일이 애플리케이션의 배포 설정을 정의하는 데 사용된다.  사용중 아래 에러가 발생했다.Error: 'ModelWrapper' object has no attribute 'tasks’ModelWrapper는 Llama Deploy가 내부적으로 사용하는 객체이다. 아래를 참고하여 버전 fix로 해결했다.https://github.com/run-llama/llama_deploy/blob/main/examples/quick_start/README.md llama_deploy/examples/quick_start/README.md at main · run-llama/llama_deployDeplo..