
자연어 처리
·
SKT FLY AI/Pytorch
임베딩사람이 사용하는 언어(자연어)를 컴퓨터가 이해할 수 있는언어 형태인 벡터로 변환한 결과 혹은 일련의 과정을 의미한다.즉 단어를 좌표평면에 놓는다고 이해하면 좋다. 이를 통해 단어간의 거리를 통해 유사성을 확인할 수 있다. 임베딩으로 단어 및 문장 간 관련성을 계산하고 의미적 혹은 문법적 정보의 함축을 수행한다. 임베딩 방법에 따른 분류 희소 표현 기반 임베딩희소표현은 대부분의 값이 0으로 채워져 있는 경우로, 대표적으로 원-핫 인코딩이 있다. 두 벡터의 내적이 0을 갖게되며로 단어 끼리의 관계성 없이 독립적인 관계가 된다는 단점이 있다. * 크기가 1인 두 벡터의 내적은 두 벡터의 유사도를 나타낸 것과 같다. 또한 차원의 저주의 문제가 발생한다,* 하나의 단어를 표현하는데 말뭉치에 있는 수만큼 ..