one-hot encoding

단어를 임베딩하는데 있어 가장 원초적인 방법

 

단어 집합의 크기가 차원이 된다. 

[the, cat, sat, on, the, mat] 5가지 단어로 이루어진 문장은  3차원의 벡터를 가진다. 

 

 

from konlpy.tag import Komoran
import numpy as np
komoran = Komoran()
text = "오늘 날씨는 구름이 많아요"

nouns = komoran.nouns(text)
print(nouns)

dics = {}
for word in nouns:
    if word not in dics.keys():
        dics[word] = len(dics) #0, 1, 2
print(dics)

#one-hot-encoding
nb_classes = len(dics)
targets = list(dics.values())
one_hot_targets = np.eye(nb_classes)[targets]
print(one_hot_targets)

 

하지만 원-핫-인코딩은 희소 행렬로 사전의 크기가 커질 수록 메모리 낭비, 계산 낭비가 심하다.

또한 토큰 단어와 그 주변의 단어 간의 관계를 표현하지 못한다. 

 

이러한 단점을 해결하기 위해 단어의 잠재 의미를 반영하여 다차원 공간에 벡터화 하는 기법으로 크게 두 가지가 있다.

첫째는 카운트 기반의 벡터화 방법인 LSA(잠재 의미 분석), HAL 등이 있으며,

둘째는 예측 기반으로 벡터화하는 NNLM, RNNLM, Word2Vec, FastText 등이 있다.

그리고 카운트 기반과 예측 기반 두 가지 방법을 모두 사용하는 방법으로 GloVe라는 방법이 존재한다.

 

참고 문헌 :

https://wikidocs.net/22647

https://www.tensorflow.org/text/guide/word_embeddings