Word-Embedding - Embedding Layer

 워드 임베딩(Word Embedding)은 단어를 벡터로 표현하는 방법으로, 단어를 밀집 표현(Dense Representation)으로 변환한다. 이러한 밀집 벡터, 즉 임베딩 벡터를 왜 네트워크 입력으로 넣어주지 않고

이전 방식인 원 핫 벡터를 넣어주는 것일까?

 

https://wikidocs.net/33930

간단하게 말하면 Task(작업)에 따라 알맞게  Embedding Layer 의 Weight 를 최적화 시켜주어야 하기 때문이다.

(기울기를 찾으며 역전파가 이루어진다. 이 과정에서 최적의 Weight 로 조절된다.)

 

보통 word2vec을 통해 만들어진 Dense Vector는 주변 단어를 잘 예측하는 목적에 최적화된 벡터이다. (주변 단어 예측에 필요한 Features로 구성된 Vector) 다시말해 Dense Vector의 상태는 해당 단어(코퍼스)가 현재의 Task(작업)에 최적의 상태가 아닐 수 있기 때문에 업데이트 가능한 One-hot-vector로 네트워크에 입력하는 것이다. 

 

 

참고문서 https://wikidocs.net/33520