RAG 시스템 검색 엔진 정리

RAG 시스템에서 외부 검색을 지원하려면 검색엔진을 사용해야한다.

선정을 위해 여러 검색엔진을 비교해 보았다.

🐹검색 엔진

🔍 Searxng

https://github.com/searxng/searxng

GitHub - searxng/searxng: SearXNG is a free internet metasearch engine which aggregates results from various search services and

 

• 오픈 소스 메타 검색 엔진으로, 여러 검색 엔진의 결과를 통합하여 제공
• 70개 이상의 검색 서비스 및 데이터베이스의 결과를 취합
• 실행 가능한 인스턴스 목록을 Searx.space에서 제공
• 프라이버시 보호에 중점을 둠.
• 비용: 무료 (오픈 소스)

🔍 Google Programmable Search Engine (google_pse)

https://developers.google.com/custom-search/docs/overview?hl=ko

 

• Google의 맞춤형 검색 엔진 서비스. 특정 웹사이트나 주제에 대한 검색 결과를 제공
• RESTful API를 통해 프로그래밍 방식으로 접근 가능
• 비용:
  • 무료 버전: 광고 포함, 제한된 기능
  • 유료 버전: 광고 제거 및 추가 기능 제공, 사용량에 따른 요금 부과

🔍 Brave Search

https://brave.com/search/

https://api.search.brave.com/app/documentation/web-search/get-started

• Brave 브라우저에서 제공하는 독립적인 검색 엔진
• 자체 인덱스를 사용하며, 필요한 경우에만 다른 검색 엔진의 결과를 통합
• 비용:
  • 기본 버전: 무료 (1query/second, 2000queries/month)
  • 선택한 plan에 따라 상이 https://brave.com/search/api/

 

 

🔍 Serpstack

https://serpstack.com/

 

• Google 검색 결과 데이터를 실시간으로 제공하는 API 서비스
• 비용:
  • 무료 플랜: 월 100회 요청
  • 유료 플랜: $29.99/월부터 시작, 더 높은 요청 한도 제공
    https://serpstack.com/product

Free Real-Time Google Search API | Serpstack

 

🔍 Serper

https://serper.dev/

Serper - The World's Fastest and Cheapest Google Search API

 

• Google 검색 결과를 스크래핑하여 제공하는 API 서비스
• 스케일 SERP 배치로 최대 15,000개의 검색을 실행
• 비용:
  • 무료 플랜: 월 125회 요청
  • 유료 플랜: $19/월부터 시작

🔍 Serply

https://serply.io/

 

• 특징: Google 검색 결과에 대한 빠르고 정확한 API를 제공
• 비용:
  • 무료 플랜: 월 100 requests
  • 유료 플랜: 사용량에 따라 다양한 가격 책정

🔍 Searchapi

https://www.searchapi.io/

Google Search API for real-time SERP scraping

 

• 여러 검색 엔진의 실시간 데이터를 제공하는 API 서비스
• Google, Bing, Baidu 등 다양한 검색 엔진의 결과를 단일 API로 제공
• 비용:
  • 유료 플랜: plan에 따라 상이

🔍 DuckDuckGo

https://duckduckgo.com/

DuckDuckGo - 보호. 개인정보 보호. 마음의 평화.

 

• 사용자의 프라이버시를 중시하는 검색 엔진으로, 검색 기록을 저장하지 않음
• 비용
  • 무료 플랜 : 월 100회
  • 유료 플랜 : $29/월부터 시작
    https://rapidapi.com/apiriot/api/duckduckgo-search-api/pricing

DuckDuckGo Search API

 

🔍 Tavily

https://tavily.com/ https://wikidocs.net/234705#google_vignette

Tavily (타빌리)

 

https://wikidocs.net/261568

4-2-1. 웹 검색 도구 활용

 

https://aipure.ai/kr/products/gpt-researcher

Tavily: 리뷰, 기능, 가격, 가이드 및 대안

 

• AI 애플리케이션 및 언어 모델(LLM)을 위해 특별히 설계된 혁신적인 검색 API
• API 호출당 최대 20개 사이트의 정보를 집계하며, AI를 사용하여 가장 관련성 높은 출처를 점수화, 필터링 및 순위를 매김
• 개발자가 최적의 LLM 통합을 위해 컨텍스트와 응답 토큰 제한과 같은 사용자 정의 필드를 추가 가능
• include_domains 를 지정하여 검색 결과에 포함할 도메인 목록을 지정가능 ex) github.io
• 비용:
  • 무료 플랜: 월 1,000회 API 호출
  • 유료 플랜: 사용량에 따라 다양한 가격 책정

🔍 Bing

https://www.microsoft.com/en-us/bing/apis

 

• Microsoft에서 제공하는 검색 엔진
• 비용:
  • 기능 및 트랜젝션에 따라 상이
    https://www.microsoft.com/en-us/bing/apis/pricing

 

도메인 특화 검색 엔진

---

Semantic Scholar API

https://www.semanticscholar.org/product/api

Semantic Scholar Academic Graph API | Semantic Scholar

 

 

• 2억 개 이상의 논문 데이터베이스 보유
• 자연어 처리 및 AI 기술을 활용하여 논문 요약 및 추천 기능 제공
• 다양한 학술 데이터(저자, 논문, 인용 등)에 대한 접근 가능

CrossRef AP

https://www.crossref.org/

You are Crossref - Crossref

• DOI 기반의 정확한 논문 식별, 출판사 및 저널 정보 제공, 인용 데이터 접근 가능.

 

그외 검색 엔진

---

• 네이버 검색 API
  • (25,000회/일)
  • 네이버의 오픈 API를 이용함에 있어 직접적인 수익이 발생할 수 있는 경우 사용 불가
  • 검색 서비스의 경우 상업적 목적에 의해 사용 불가
    https://developers.naver.com/products/intro/faq/faq.md
    https://developers.naver.com/products/intro/plan/plan.md

네이버 오픈 API 목록 - INTRO

 

FAQ - INTRO

 

• 카카오 검색 API
  • 상업적 서비스에서 API사용 가능
  • API 기능 자체를 중계하여 비지니스 모델로 만드는 것은 제한됨
    https://developers.kakao.com/terms/latest/ko/site-policieshttps://github.com/WooilJeong/PyKakao/tree/main
  • https://devtalk.kakao.com/t/api/116762/3

책 검색 api 상업적 이용 관련 문의드립니다

 

Kakao Developers

 

GitHub - WooilJeong/PyKakao: 카카오 API를 사용하기 위한 오픈소스 파이썬 라이브러리