본문 바로가기

NLP 🗣3

seq2seq(sequence to sequence), attention seq2seq는 챗봇(chatBot), 기계 번역(machine-traslation), STT(Speach-to-Text)등에서 사용되는 모델이다. seq2seq를 자세히 보면 Encoder와 Decoder로 이루어져있다. 인코더 모든 단어들을 순차적으로 입력 받아 마지막에 모든 단어 정보들을 압축해 context vector를 만든다. 디코더 context vector를 입력으로 하여 번역된 단어를 한개씩 순차적으로 출력한다. 위 그림을 조금 더 자세히 그려보면 사실 인코더와 디코더는 두개의 RNN이다. 인코더를 자세히 살펴보면 입력 문장은 단어 토큰화를 통해 단어 단위로 쪼개지고 단어 토큰 각각은 RNN 셀 각 시점에서 입력이 된다. 인코데 RNN 셀은 모든 단어를 입력 받은 뒤 인코더 RNN 셀의 .. 2022. 1. 25.

one-hot encoding 단어를 임베딩하는데 있어 가장 원초적인 방법 단어 집합의 크기가 차원이 된다. [the, cat, sat, on, the, mat] 5가지 단어로 이루어진 문장은 3차원의 벡터를 가진다. from konlpy.tag import Komoran import numpy as np komoran = Komoran() text = "오늘 날씨는 구름이 많아요" nouns = komoran.nouns(text) print(nouns) dics = {} for word in nouns: if word not in dics.keys(): dics[word] = len(dics) #0, 1, 2 print(dics) #one-hot-encoding nb_classes = len(dics) targets = list(d.. 2022. 1. 21.

1. Embedding 1.1 임베딩이란 사람이 쓰는 자연어를 기계가 이해할 수 있는 벡터로 바꾸는 과정 1.2 임베딩의 역할 1) 단어/ 문장 간 관련도 계산 단어를 벡터로 표현하는 순간 단어간의 유사도를 계산 가능 ex> 코사인 유사도 2) 의미/문법 정보 함축 벡터간의 사친 연산으로 단어 간의 유추 평가 가능 ex> 단어1 + 단어 2 - 단어 3 = 아들 + 딸 - 소년 = 소녀 3) 전이 학습 단어를 임베딩 한 값이 input 으로 쓰인다. 1.3 임베딩 기법 0) 그 전에 시소러스를 활용한 방법 (시소러스 기반 기법) wordNet수많은 단어에 대한 동의어와 계층 구조 등 정의 하지만 수작업으로 시대 변화에 대응하기 어렵다. 비용이 많이 든다. 단어간 미묘한 차이를 표현 할 수 없다. nlp에서 가장 유명한 시소러스.. 2021. 12. 10.

이전 1 다음

티스토리툴바