attention 썸네일형 리스트형 Transformer 모델 이해하기 Attention 목표 : contextualization → 내 주변 애들과의 관계를 반영해서 나를 변형한다. 핵심 : Q, K, V Q : decoder의 hidden state. 현재까지 디코딩 한 상태를 의미 K : Q와 유사성을 비교할 대상. V : Q와 K의 유사도를 V에 곱해서 weighted sum을 하면 Attention Value가 된다 Transformer 트랜스포머는 결국 Encoder-Decoder 모델이다. 다만 기존 Encoder-Decoder 모델과 다음 두 가지가 다르다. 1. 인코딩 과정에서 input 내에서 contextualize를 수행하기 위해 Self Attention을 사용한다는 점 2. 디코딩 과정에서는 output과 input의 유사도 비교를 위해 Attent.. 더보기 이전 1 다음
