🤔 ERROR python 스크립트 실행중 아래 에러가 발생했다.SyntaxError: Non-UTF-8 code starting with '\xec' in file...  Python이 실행하려는 코드 파일에 UTF-8 인코딩이 아닌 다른 인코딩(예: EUC-KR, CP949 등)이 포함되어 있어서 발생하는 문제이다.Python은 기본적으로 소스 코드 파일이 UTF-8로 인코딩되어 있다고 가정하기 때문에, UTF-8이 아닌 문자(한글 등!)가 포함되어 있으면 SyntaxError가 발생한다.   🙂 해결방법코드의 상단에 아래를 추가하면된다.# -*- coding: utf-8 -*-이 코드는 Python에게 파일이 UTF-8로 인코딩되었음을 알려준다!  vs코드를 사용하는 경우, 오른쪽 하단에서 인코..

🐹 NER이란?단어를 보고 그 단어의 유형을 인식하는것을 말한다.이는 문장에서 시간, 장소, 객체 나 사람등을 태깅한다.  🐹 개체명 태깅BIESO 시스템 개체명의 시작에 B, 중간에 I, 마지막에 E를 붙인다. 하나의 토큰으로 이루어진 경우 S를 붙인다. 토큰이 개체명이 아닐 경우에는 O를 붙인다.BIO 시스템 E를 I로, S를 B로 단순화 해서 표현한다.   🐹 한국어 NER 테스트 huggingface에 올라와있는 모델을 이용해 테스트 해보았다.https://huggingface.co/monologg/koelectra-small-finetuned-naver-ner monologg/koelectra-small-finetuned-naver-ner · Hugging FaceNo model card ..

문제https://swexpertacademy.com/main/code/problem/problemDetail.do?contestProbId=AV5QSEhaA5sDFAUq&categoryId=AV5QSEhaA5sDFAUq&categoryType=CODE&problemTitle=&orderBy=FIRST_REG_DATETIME&selectCodeLang=ALL&select-1=&pageSize=10&pageIndex=1 SW Expert AcademySW 프로그래밍 역량 강화에 도움이 되는 다양한 학습 컨텐츠를 확인하세요!swexpertacademy.com단순히 10개의 수 중 홀수만을 더하면 된다. 풀이T = int(input())for test_case in range(1, T + 1): nums..

🐹docker-compose란?docker-compose는 Docker 컨테이너를 정의하고 관리하기 위한 도구로, 다중 컨테이너 애플리케이션을 설정하고 쉽게 실행할 수 있도록 해준다.복잡한 애플리케이션에서 여러 컨테이너를 동시에 실행하고 관리할때 아주 유용하게 쓰인다!  🐹docker-compose 설치docker은 vscode extensions로도 설치가 가능한데, docker-compose는?터미널을 열어 아래 명령어를 사용해야 한다!sudo curl -L "https://github.com/docker/compose/releases/download/v2.20.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose 이..

문제https://swexpertacademy.com/main/code/problem/problemDetail.do?contestProbId=AV134DPqAA8CFAYh SW Expert AcademySW 프로그래밍 역량 강화에 도움이 되는 다양한 학습 컨텐츠를 확인하세요!swexpertacademy.com   풀이for test_case in range(1, 11): n = int(input()) height=list(map(int,input().split())) num_house=0 for j in range(2,n-2): left=max(height[j-2],height[j-1]) right=max(height[j+1],height[j+2]) ..

labelstudio 란 학습을 위한 데이터를 쉽게 라벨링 할 수 있도록 도와주는 프로그램이다.https://labelstud.io/ Open Source Data Labeling | Label StudioA flexible data labeling tool for all data types. Prepare training data for computer vision, natural language processing, speech, voice, and video models.labelstud.io수동으로 라벨링이 가능하지만, 모델을 직접 연결해서 사용할 수 도 있다.paddleocr을 연동하여 라벨스튜디오에 연결시 있던 error issue를 정리했다.  easeocr, Tesseract 등의 예제를 ..

할루시네이션 극복 방법1. N-shot Learning N-shot Learning은 기계 학습에서 모델이 몇 개의 샘플(예: 이미지, 텍스트 등)만을 사용하여 새로운 클래스나 작업을 학습하는 방법을 의미합니다. 이는 특히 데이터가 부족하거나 새로운 클래스에 대한 레이블이 없는 상황에서 유용합니다. N-shot Learning의 핵심 아이디어는 모델이 적은 데이터로도 효과적으로 학습할 수 있도록 하는 것입니다. N-shot Learning은 다음과 같은 주요 개념을 포함합니다: ### 1. **Few-Shot Learning (FSL)** N-shot Learning의 주요 하위 분야로, 모델이 소수의 샘플만으로 새로운 클래스를 인식하거나 분류할 수 있도록 학습하는 것입니다. `N`은 샘플의 수를 나타내..

🐹이미지 윤곽선이란?윤곽선은 이미지 내 객체의 외각경계를 말한다. https://docs.opencv.org/4.x/d4/d73/tutorial_py_contours_begin.html OpenCV: Contours : Getting StartedNext Tutorial: Contour Features Goal What are contours? Contours can be explained simply as a curve joining all the continuous points (along the boundary), having same color or intensity. The contours are a useful tool for shape analysis and object detectidoc..

https://arxiv.org/pdf/2012.14740 Abstract텍스트, 레이아웃, 이미지를 하나의 다중 모달 프레임워크로 결합하여 이들 간의 상호작용을 모델링하기 위한 새로운 사전 학습 작업을 갖춘 LayoutLMv2 아키텍처를 제안한다.two-stream multi-modal 트랜스포머 인코더를 사용하는 LayoutLMv2는 기존의 마스킹된 시각 언어 모델링 작업뿐만 아니라 새로운 텍스트-이미지 정렬 및 텍스트-이미지 매칭 작업을 포함하며, 이는 사전 학습 단계에서 모달 간 상호작용을 더 잘 포착할 수 있게 해준다. 또한 LayoutLMv2는 Transformer 아키텍처에 공간 인식 self attention 메커니즘을 통합하여 서로 다른 텍스트 블록 간의 상대적 위치 관계를 완전히 이해할..

모듈에서 에러가 발생해 수정하였는데, 변경 이전과 동일한 에러가 발생했다.  주피터 노트북에서 모듈은 한번 불려오면 다시 불러오지 않는다.불러온 이후에 수정사항이 발생해도, 불려온 시점의 모듈을 기준으로 코드를 실행한다.  따라서 모듈을 수정하면 커널을 재시작해주어야한다.