🐹 MCP란?https://modelcontextprotocol.io/introduction Introduction - Model Context ProtocolUnderstand how MCP connects clients, servers, and LLMsmodelcontextprotocol.io 2024년 말 앤트로픽(Anthropic)에 의해 개발된 애플리케이션이 LLM에게 컨텍스트 정보를 제공하는 방식을 표준화한 개방형 프로토콜이다.다양한 데이터 소스와 도구를 AI 모델에 연결하는 표준화된 방법을 제공한다. MCP를 쉽게 HTTP프로토콜이나, C타입 단자에 비유하는걸 보았는데 AI가 초기에 학습한 데이터 외에도 실시간으로 다양한 소스의 데이터를 활용할수 있게 해준다고 생각할 수 있다.  🐹 MC..

🐹 임베딩 모델이란?임베딩 모델은 텍스트, 이미지, 음성과 같은 데이터를 벡터 공간으로 변환하는 역할을 하는 모델을 말한다.벡터들은 숫자 값으로 이루어진 고차원 공간에서 표현된다. 이를 통해 데이터 간의 의미적 유사성을 비교하거나 분석할 수 있다. M3-Embedding모델에 대해 정리해봤다. https://arxiv.org/pdf/2402.03216  AbstractM3-Embedding은 multi-linguality(다국어 지원), multi-functionality(다기능성), muti-granularity(다중 그레뉼러리티)를 갖추고 있다이 모델은 Dense Retrieval, multi-vector retrieval, sparse retrieval의 세가지의 주요 검색 기능을 동시에 수행할 ..

🐹 NER이란?단어를 보고 그 단어의 유형을 인식하는것을 말한다.이는 문장에서 시간, 장소, 객체 나 사람등을 태깅한다.  🐹 개체명 태깅BIESO 시스템 개체명의 시작에 B, 중간에 I, 마지막에 E를 붙인다. 하나의 토큰으로 이루어진 경우 S를 붙인다. 토큰이 개체명이 아닐 경우에는 O를 붙인다.BIO 시스템 E를 I로, S를 B로 단순화 해서 표현한다.   🐹 한국어 NER 테스트 huggingface에 올라와있는 모델을 이용해 테스트 해보았다.https://huggingface.co/monologg/koelectra-small-finetuned-naver-ner monologg/koelectra-small-finetuned-naver-ner · Hugging FaceNo model card ..

https://arxiv.org/pdf/2012.14740 Abstract텍스트, 레이아웃, 이미지를 하나의 다중 모달 프레임워크로 결합하여 이들 간의 상호작용을 모델링하기 위한 새로운 사전 학습 작업을 갖춘 LayoutLMv2 아키텍처를 제안한다.two-stream multi-modal 트랜스포머 인코더를 사용하는 LayoutLMv2는 기존의 마스킹된 시각 언어 모델링 작업뿐만 아니라 새로운 텍스트-이미지 정렬 및 텍스트-이미지 매칭 작업을 포함하며, 이는 사전 학습 단계에서 모달 간 상호작용을 더 잘 포착할 수 있게 해준다. 또한 LayoutLMv2는 Transformer 아키텍처에 공간 인식 self attention 메커니즘을 통합하여 서로 다른 텍스트 블록 간의 상대적 위치 관계를 완전히 이해할..

https://arxiv.org/pdf/2205.00159 Abstract이전까지 text recognition model은 이미지의 특징을 뽑는 visual model과 텍스트를 변환하는 sequence model을 포함했다. 이 연구에서는 이를 하나로 합친 모델을 소개한다.SVTR은 이미지를 작은 패치(charater components)로 분해하고, component-level의 혼합, 병합, 결합을 통해 계층적 단계가 반복된다. Globel, local mixing blocks은 문자내 패턴을 인식하도록 고안되어 다중 세분화된 문자 구성 요소 인식으로 이어진다. 따라서 간단한 선형 예측을 통해 문자를 인식 한다.SVRT-L(Large)는 영어와 중국어에서 높은 정확도를 기록했고 SVRT-T(Tin..

https://arxiv.org/pdf/2206.03001v2 OCR 프로젝트를 하면서 PaddleOCR에 대해 알게되었다.이 논문은 PaddleOCRv3에 대한 논문으로 그전 버전에 비해 어떤것이 달라졌는지를 중점으로 설명하고 있다.AbstractOCR기술이 다양한 시나리오에서 널리 사용되고 있다. 실제로 효율성과 정확성의 문제를 해결하는 것이 중요한 문제이다. 특히, 실용적인 OCR 시스템을 설계하는 것이 어려운 과제이다.이전 연구에서는 효율성과 정확성을 고려한 PP-OCR이라는 초경량 시스템과 그 개선버전인 PP-OCRv2가 제안되었다.이 논문에서는 PP-OCRv2의 성능을 더욱 향상시키기 위한 PP-OCRv3를 제안한다. 이는 텍스트 감지 모델과 텍스트 인식 모델을 총 9개의 측면에서 업그레이드 ..

이상치는 정상 데이터보다 훨씬 더 적고, 정상 데이터와 다른 특징을 가지기 때문에, 몇 번의 분리만으로 쉽게 격리될 수 있다   Isolation foreset는 밀도를 기반으로 이상을 탐지하는 모델이다.Isolation forest는 기본적으로 데이터셋을 의사결정나무(Decision Tree) 형태로 표현해 정상값을 분리하기 위해서는 의사결정나무를 깊숙하게 타고 내려가야 하고, 반대로 이상값은 의사결정나무 상단부에서 분리할 수 있다는 것을 이용한다.이 특성을 사용해 의사결정나무를 몇 회 타고 내려가야 분리되는가를 기준으로 정상과 이상을 분리한다.Isolation forest의 장점군집기반 이상탐지 알고리즘에 비해 계산량이 매우 적다강건한(Robust)한 모델을 만들 수 있다비지도 학습 환경에서 매우 유..

1주차토큰화는 텍스트를 다른 입력 요소로 분리하는 프로세스이며 벡터화는 토큰을 숫자표현으로 변환하는 과정, 임베딩은 의미관계 또는 문맥적 의미를 추가하여 벡터 표현을 개선  3주차컨볼루션은 두 함수를 결합하여 세번째 함수를 생성하는 수학적 연산.이미지 처리에서 컨볼루션은 전체 이미지에서 각 픽셀과 그 로컬 이웃에 커널을 적용하여 이미지를 변환하는 프로세스이다. 활성화함수는 네트워크에 비선형성을 도입하여 데이터의 복잡한 패턴과 관계를 학습한다.  컨볼루션 레이어는 입력 데이터에 필터를 적용하여 데이터의 패턴과 특징을 감지한다.풀링 레이어는 입력 데이터의 공간적 차원을 줄여 가장 중요한 기능을 요약하고 선택함으로써 필수 정보를 보존한다.완전 연결 레이어는 이전 레이어의 모든 뉴런을 현재 레이어의 각 뉴런에 ..

이 논문은 BERT를 소개하며 모델구조, 사전훈련, 성능평가, 전이학습 등에 대해 이야기 하고 있다. 모델 구조: BERT는 Transformer 모델의 변형을 기반으로 한다. Transformer는 인코더와 디코더로 구성되어 있지만, BERT에서는 디코더를 제거하고 인코더만을 사용하며,  Transformer의 인코더를 여러 겹 쌓아서 깊은 표현을 얻는다. 이러한 구조는 양방향 (bidirectional)으로 문맥을 고려하여 토큰의 표현을 생성할 수 있게 한다.사전 훈련: BERT는 대량의 텍스트 데이터를 사용하여 사전 훈련된다. 사전 훈련은 두 가지 주요 과제로 이루어집니다.첫 번째는 Masked Language Model (MLM) 과제로, 입력 문장에서 일부 단어를 마스킹하고 모델은 이를 예측하여..

파인튜닝한 모델을 저장하고, 불러와서 사용해보자!파인튜닝방법은 아래에서 볼 수 있다.https://pleasestudy-alswldi.tistory.com/122 KoBERT로 감정분류 실습하기https://velog.io/@danbibibi/KoBERT-fine-tuning-Sentiment-Analysis https://www.notion.so/KoBERT-f7dff49a989c4b9cbdce46afc906c3c1 2021년경 KoBERT모델의 기존 서버가 닫히고 huginggace hub로 이전되었다. 아래는 hugingface로 구현하는pleasestudy-alswldi.tistory.com 🖥️모델저장구글드라이브에 연동해서 모델을 저장한다.#구글드라이브 연동from google.colab im..