Gensim과 keras를 이용한 단어 임베딩

단어 임베딩(Word Embedding)

- 단어 벡터 사이에 추상적이고 기하학적인 관계를 얻으려면 단어 사이에 있는 의미 관계를 반영해야되는데, 단어 임베딩은 언어를 기하학적 공간에 매핑하는 것이다.

ex) 임베딩 공간에서는 동의어가 비슷한 단어 벡터로 임베딩. 즉, 멀리 떨어진 위치의 단어는 서로 의미가 다르며 거리 외에 공간의 특정 방향도 의미를 가질 수 있다.

 

- 기하학적 변환은 ('king'벡터) + ('female'벡터) = ('queen'벡터) /  ('서울') + ('중국') - ('한국') = ('베이징')

 단어 임베딩 공간은 전형적으로 위와 같은 해석이 가능하고 잠재적으로 유용한 고차원 벡터를 특성으로 가진다.

 

 

Word2Vec

- 각 단어를 임베딩이라고 부르는 작고 밀집된 벡터(ex-100차원)로 나타내는 것을 의미한다.

  뉴럴넷 학습을 통해 전형적으로 비슷한 단어가 점차 서로 모이게 하고, 의미있는 방향으로 조직되게 만든다.

  ex) 남자 / 여자,     단수 / 복수,    킹 / 퀸 등 표현되는 여러 개의 축을 따라 나열

https://www.tensorflow.org/tutorials/representation/word2vec

 

 

 

 

Gensim

 

1)실습을 위해 Gensim을 설치하자

pip install gensim

 

 

2) Word3Vec 모델을 학습할 말뭉치 데이터 준비

(국립국어원 : https://ithub.korean.go.kr/user/total/database/corpusManager.do)

(위키피디아 데이터 : https://dumps.wikimedia.org/kowiki/latest/)

여기서는 위키피디아 데이터를 이용

 

 

3) Word2Vec 모델 학습

from gensim.models import word2vec
 
data = word2vec.Text8Corpus('data/wiki.m')  
model = word2vec.Word2Vec(data, size = 100) #100차원
model.save('model/wiki_model.model')  

 

 

4) 학습된 모델 활용

from gensim.models import word2vec
model = word2vec.Word2Vec.load('model/wiki_model.model')
 
result =model.most_similar(positive=['아빠','여성'],negative=['남성'])
print(result)
print(result[0]) # 엄마
 
 
result =model.most_similar(positive=['서울','일본'],negative=['한국'])
print(result)
print(result[0]) # 도쿄
 
 
result =model.most_similar(positive=['서울','중국'],negative=['한국'])
print(result)
print(result[0]) # 베이징
 
 
result =model.most_similar(positive=['오른쪽','남자'],negative=['왼쪽'])
print(result)
print(result[0]) # 여자
 
 
result =model.most_similar(positive=['서울','맛집'])
print(result)
print(result[0]) # 강남
 
 
result =model.most_similar(positive=['유재석'])
print(result[0]) # 강호동
 
result =model.most_similar(positive=['왼쪽'])
print(result[0]) # 오른쪽
 
 
result =model.most_similar(positive=['여학생','남자'],negative=['여자'])
print(result)
print(result[0]) # 남학생
 
 
result =model.most_similar(positive=['걷기','수영'],negative=['여자'])
print(result)
print(result[0]) # 하이킹
 
 
result =model.most_similar(positive=['유재석','강호동'])
print(result[0]) # 노홍철