seq2seq(sequence to sequence), attention

seq2seq는 챗봇(chatBot), 기계 번역(machine-traslation), STT(Speach-to-Text)등에서 사용되는 모델이다.

seq2seq를 자세히 보면 Encoder와 Decoder로 이루어져있다.

인코더

모든 단어들을 순차적으로 입력 받아 마지막에 모든 단어 정보들을 압축해 context vector를 만든다.

디코더

context vector를 입력으로 하여 번역된 단어를 한개씩 순차적으로 출력한다.

위 그림을 조금 더 자세히 그려보면

사실 인코더와 디코더는 두개의 RNN이다.

인코더를 자세히 살펴보면 입력 문장은 단어 토큰화를 통해 단어 단위로 쪼개지고 단어 토큰 각각은 RNN 셀 각 시점에서 입력이 된다.

인코데 RNN 셀은 모든 단어를 입력 받은 뒤 인코더 RNN 셀의 마지막 시점의 은닉상태를 디코더 RNN 셀로 넘겨주는데 이를 Context 벡터라고 한다.

디코더는 초기 입력으로 문장을 시작하는 심볼 <sos>가 들어간다. <sos>가 입력되면 다음에 등장할 확률이 높은 단어를 예측한다. 이 행위는 문장 끝을 의미하는 심볼인 <eos> 가 다음 단어로 예측 될대까지 반복된다.

seq2seq는 훈련 과정과 테스트 과정(또는 실제 번역기를 사람이 쓸 때)의 작동 방식이 조금 다르다. 앞의 내용들은 테스트 과정이고

훈련 과정에서는 인코더가 보낸 컨텍스트 벡터와 실제 정답인 <sos> je suis étudiant를 입력 받았을 때, je suis étudiant <eos>가 나와야 된다고 정답을 알려주면서 훈련한다.

반면 테스트 과정에서는 앞서 설명한 과정과 같이 디코더는 오직 컨텍스트 벡터와 <sos>만을 입력으로 받은 후에 다음에 올 단어를 예측하고, 그 단어를 다음 시점의 RNN 셀의 입력으로 넣는 행위를 반복한다.

디코더에서 출력 단어로 나올 수 있는 단어들은 다양하다. seq2seq 모델은 선택될 수 있는 모든 단어들로부터 하나의 단어만을 뽑아내야 한다. 출력 층 마지막 단에 softmax 함수를 통해 출력 시퀀스의 단어별 확률 값 중 가장 큰 값을 결정하게 된다.

하지만 이러한 RNN 기반의 seq2seq 모델은 크게 두가지 문제점이 있다.

1. 고정된 크기의 context 벡터에 모든 정보를 압축하게 되므로 정보 손실이 발생한다.

2. RNN의 고질적인 문제 장기의존성 문제

그래서 기계 번역 분야에서 입력 문장이 길어질 수록 번역 품질이 떨어지는 현상이 발생하기도 한다.

이를 위해 입력 길이가 길어지면 출력 문장의 정확도를 보정해주기 위한 어텐션 기법이 등장하였다.

어텐션의 기본 아이디어는 디코더에서 출력 단어를 예측하는 매 시점마다 인코더에서의 전체 입력 문장을 다시 참고 한다는 점이다.

입력 문장을 동일한 비율로 참고하는 것이 아니라 예측해야 할 단어와 연관이 있는 입력 단어 부분을 조금 더 집중(attention)해서 보게 된다.

어텐션 함수는 다음과 같다.

Attention(Q, K, V) = Attention Value

Q = Query : t 시점의 디코더 셀에서의 은닉 상태
K = Keys : 모든 시점의 인코더 셀의 은닉 상태들
V = Values : 모든 시점의 인코더 셀의 은닉 상태들

닷-프로덕트 어텐션(dot-product attention)

어텐션은 다양한 종류가 있는데 그중에서 닷-프로덕트 어텐션을 살펴 보도록 하겠다.

첫번째, 두번째 출력은 지금 설명하는 세번째 출력과 같은 예시이므로 이미 진행했다고 가정하고 세번째 예시를 보겠다.

디코더의 세번째 LSTM 셀은 출력 단어를 예측하기 위해 인코더의 모든 입력 단어들의 정보를 다시 참고한다.

소프트맥스 함수를 통해 나온 결과값은 I, am, a, student 단어 각각이 출력 단어를 예측할 때 얼마나 도움이 되는지의 정도를 수치화한 값이다. 위의 그림에서는 빨간 직사각형의 크기로 소프트맥스 함수의 결과값의 크기를 표현했다. 직사각형의 크기가 클 수록 도움이 되는 정도의 크기가 크다.

1. 어텐션 스코어(attention score)를 구한다.

인코더와 디코더의 은닉상태는 모두 4차원으로 동일한 상태이며, 각 input에 대한 은닉 상태를 h1, h2, h3, h4라 할때

디코더의 현 시점 t에서 디코더의 은닉 상태를 st라고 하자. 그리고 디코더에서 t번째 단어를 예측하기 위한 어텐션 값(attention value)를 at라고 하자. at는 현 디코더 t시점에서 단어를 예측하기 위해 인코더의 모든 은닉 상태 각각이 디코더의 현 시점의 은닉 상태 st와 얼마나 유사한지 판단하는 값을 말한다.

우선 st를 전치(transpose)하고 각 은닉 상태와 내적한다.