LLM

 

할루시네이션 극복 방법

1. N-shot Learning

 

N-shot Learning은 기계 학습에서 모델이 몇 개의 샘플(예: 이미지, 텍스트 등)만을 사용하여 새로운 클래스나 작업을 학습하는 방법을 의미합니다. 이는 특히 데이터가 부족하거나 새로운 클래스에 대한 레이블이 없는 상황에서 유용합니다. N-shot Learning의 핵심 아이디어는 모델이 적은 데이터로도 효과적으로 학습할 수 있도록 하는 것입니다.

N-shot Learning은 다음과 같은 주요 개념을 포함합니다:

### 1. **Few-Shot Learning (FSL)**
N-shot Learning의 주요 하위 분야로, 모델이 소수의 샘플만으로 새로운 클래스를 인식하거나 분류할 수 있도록 학습하는 것입니다. `N`은 샘플의 수를 나타내며, `1-shot`은 1개의 샘플만을 사용하는 경우를, `5-shot`은 5개의 샘플을 사용하는 경우를 의미합니다.

### 2. **메타러닝 (Meta-Learning)**
메타러닝은 "학습하는 방법을 학습하는" 접근 방식으로, 모델이 다양한 태스크를 빠르게 학습할 수 있도록 돕는 기술입니다. N-shot Learning에서는 메타러닝이 매우 중요합니다. 메타러닝 모델은 여러 태스크에서 학습한 경험을 통해 새로운 태스크를 빠르게 적응할 수 있도록 훈련됩니다.

### 3. **프로토타입 네트워크 (Prototypical Networks)**
프로토타입 네트워크는 각 클래스의 샘플들의 평균(프로토타입)을 계산하고, 새로운 샘플이 어느 프로토타입에 가장 가까운지를 기반으로 분류하는 방식입니다. 이를 통해 N-shot Learning에서 적은 수의 샘플로도 새로운 클래스를 잘 인식할 수 있습니다.

### 4. **시드 네트워크 (Siamese Networks)**
시드 네트워크는 두 개의 입력 샘플을 비교하여 이들이 같은 클래스에 속하는지 여부를 결정하는 네트워크입니다. 이 네트워크는 쌍(pair)로 이루어진 샘플을 사용하여 유사성 또는 거리 기반의 학습을 수행합니다.

### 5. **어텐션 메커니즘 (Attention Mechanisms)**
어텐션 메커니즘은 모델이 입력 데이터의 중요한 부분에 집중할 수 있도록 도와줍니다. N-shot Learning에서 어텐션 메커니즘을 활용하여 적은 수의 샘플에서 중요한 정보를 추출하고, 이를 기반으로 학습을 수행할 수 있습니다.

### 6. **다양한 어프로치**
- **Matching Networks**: 입력 샘플과 각 클래스의 샘플 간의 유사성을 계산하여 분류합니다.
- **Relation Networks**: 두 샘플 간의 관계를 학습하여 분류하는 방법입니다.
- **Meta-Learner LSTM**: LSTM 기반의 메타러닝 방법으로, 빠른 적응을 위한 메타러닝을 수행합니다.

### 7. **응용 분야**
N-shot Learning은 다음과 같은 다양한 분야에 응용될 수 있습니다:
- **이미지 인식**: 적은 수의 이미지로 새로운 클래스 인식
- **자연어 처리**: 적은 수의 문서로 새로운 태스크 학습
- **음성 인식**: 적은 수의 음성 샘플로 새로운 음성 인식

N-shot Learning은 데이터가 부족한 상황에서 모델의 성능을 높이는 데 매우 유용한 기술이며, 특히 개인화된 서비스나 맞춤형 애플리케이션에서 큰 장점을 제공합니다.

 

 

새로 대화를 시작하면 모른다는 단점이 있다.

few-short Learning은 매번 다시 학습해야한다. 

 

2. Fine Tuning

jsonl로 응답과 답변을 충분히 생성해야함

단점 

1. 비용 =GPU

2. 운영

3. 모델의 업데이트

4. 내부 인력 

등 

 

3. RAG (Retrieval Augmented Generation)

- 문서 업로드

- 문서 분할

- 문서 임베딩

- 임베딩 검색

- 답변 생성 

 

 

임베딩 : 데이터를 벡터기반으로 바꾸기

각 단어들의 거리와 방향..

 

시스템 메시지, AI메시지, 휴먼 메시지

시스템 메시지는 페르소나를 잡아줌

 

 

temperature :0~1값권장 (2까지 가능하기는함)