[3주차] 질문 있습니다.

[nowionlyseedaylight]

강의 관련된 건 아니고, 과제를 풀다가 궁금한 점이 생겼습니다.

exploring word vectors part 2의 2.2 question을 잘 모르겠어서 검색을 해보았습니다.
다의어의 의미를 파악해서 가장 유사한 의미를 가지는 top10 단어를 추출하는 작업의 정확도가 떨어지는 이유로
word vectors가 같은 field(environment)에서 학습되었기 때문에, 다의어의 전혀 다른 제 2의 의미 파악을 하는 능력이 떨어진다는 의견을 보았습니다.

다른 분들은 이에 대해서 어떻게 생각하시는지 궁금합니다!

[hopebii]

word2vec 모델은 단어의 "형태"가 동일한지를 기준으로 임베딩을 하는, 즉 문맥이 달라도 같은 단어면 같은 임베딩을 사용하기 때문에 다의어의 의미를 포착하기 어렵다고 합니다. (형태가 같아도 의미가 전혀 다른 단어를 구분해내지 못한다는 것) 이와 같은 문제를 극복한 모델로 ELMO, BERT, GPT 모델이 있다고 하네요! bidirectional 방법의 학습을 사용하여서 같은 단어라도 문맥에 따라 임베딩 형태가 달라져 다의어의 의미도 포착할 수 있다고 합니다. 🤔

• 참고 : https://bab2min.tistory.com/612