When will you grow up?

워드 클라우드 (wordcloud) - 특정 데이터나 텍스트에 자주 등장하는 핵심단어 시각화 text : https://ko.wikipedia.org/wiki/%EC%9E%90%EC%97%B0%EC%96%B4_%EC%B2%98%EB%A6%AC wordcloud 모듈 설치 1 pip install wordcloud ex1 word cloud basic) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 import matplotlib.pyplot as plt %matplotlib inline from wordcloud import WordCloud, STOPWORDS t..

단어 임베딩(Word Embedding) - 단어 벡터 사이에 추상적이고 기하학적인 관계를 얻으려면 단어 사이에 있는 의미 관계를 반영해야되는데, 단어 임베딩은 언어를 기하학적 공간에 매핑하는 것이다. ex) 임베딩 공간에서는 동의어가 비슷한 단어 벡터로 임베딩. 즉, 멀리 떨어진 위치의 단어는 서로 의미가 다르며 거리 외에 공간의 특정 방향도 의미를 가질 수 있다. - 기하학적 변환은 ('king'벡터) + ('female'벡터) = ('queen'벡터) / ('서울') + ('중국') - ('한국') = ('베이징') 단어 임베딩 공간은 전형적으로 위와 같은 해석이 가능하고 잠재적으로 유용한 고차원 벡터를 특성으로 가진다. Word2Vec - 각 단어를 임베딩이라고 부르는 작고 밀집된 벡터(ex-10..

단어 사전(word index) : 숫자 매핑 사전 만들기. 즉, 단어별로 인덱스를 부여하는 것이다. keras에서 제공되는 preprocessing을 이용하면 간단하게 구현해볼 수 있다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 from keras import preprocessing samples = ['현재날씨는 10분 단위로 갱신되며, 날씨 아이콘은 강수가 있는 경우에만 제공됩니다.', '낙뢰 예보는 초단기예보에서만 제공됩니다.', '나 좋은 일이 생겼어', '아 오늘 진짜 짜증나' ] tokenizer = preprocessing.text.Tokenizer() tokenizer.fit_on_texts(samples) word_index = tokenizer.word_ind..

Korean tokenizing library : 파이썬 한국어 형태소 분석 라이브러리인 KoNLPy 가많이 사용되며, 설치하면 한나눔, 꼬꼬마, 트위터 등의 형태소 분석기를 쉽게 사용 가능. Window 10, Anaconda 환경을 기준 python 3.7을 사용한다. KoNLPy 설치 - 설치 전 java와 Jpype를 다운받고 설치해야한다. 1. Java 1.7 이상 설치 https://www.oracle.com/technetwork/java/javase/downloads/jdk12-downloads-5295953.html 에 접속 후 운영체제에 맞는 jdk 다운 및 설치 (window 10 이라 맨 아래의 것으로 다운 받았다) 2. 설치 후 JAVA_HOME Path 설정 내컴퓨터 오른쪽버튼 속..

Natural Language Tokenizing - 텍스트에 대한 정보를 단위별로 나눈 것이 일반적이며, - 기본 단위로 자르는 것을 Tokenizing이라고 한다. English tokenizing library : NLTK, Spacy가 가장 많이 사용되며, 영어 텍스트에 대해 전처리 및 분석을 위한 도구로 유명 Window 10, Anaconda 환경을 기준 python 3.7을 사용한다. 설치 pip install nltk 1 2 import nltk nltk.download() http://colorscripter.com/info#e" target="_blank" style="text-decoration:none;color:white">cs all-corpora 텍스트 언어 분석을 위한 말뭉치..

자연어 처리(natural language processing) NLP라고 불리며, 컴퓨터가 자연어의 의미를 분석하여 처리할 수 있도록 하는 과정이다. 크게 자연어 전처리, 학습, 활용 분야로 나뉠수 있다. 자연어 전처리 (natural language preprocessing) - 자연어 tokenizing : 형태소 분석, 단어 or 문장으로 나누기 등 - 단어 Indexing : dictionary 만들기 등 - 단어 representation : One hot encoding, Word Embedding, Word2Vec 등 학습 (Training) - ANN (Artificial Neural Network) - DNN (Deep Neural Network) - RNN (Recurrent Neur..

파이썬과 알고리즘을 한 권에 담다!

Numpy(Numerical Python)는 데이터 버퍼에서 저장하고 처리하는 효과적인 인터페이스를 제공한다. List와 비슷하지만 규모가 커지면 커질수록 데이터 저장 및 처리에 훨씬 더 효율적이며, 보통 Data를 다룰때 Numpy 형식으로 다루게 된다. Conda 환경에서 Numpy 설치conda install -c anaconda numpy 12345678910111213####################################Numpy Version 확인####################################import numpynumpy.__version__ #본인은 1.14.2 사용중 #앞으로 계속해서 Numpy에다가 np라는 alias(일명)을 줘서 사용할예정임import n..

이미 pre-training 된 모델을 2개 사용하여 합칠시에, 중복되는 이름이 있으면 하나만 인식한다.그래서 다른 하나의 모델은 이름을 변경해야 된다. 1234567# index 접근 model_Image.get_layer(index=0).name='a' #name 접근 model_Image.get_layer('pool5').name='a'cs

Keras를 사용할때 어떠한 모델을 커스텀해서 사용 할 경우가 있다. 예를들어, input을 두개의 종류를 받고 따로따로 학습시켜서 합치거나 더하는 경우도 있을꺼고.... 자신만의 모델을 만드는건 차후 블로그 포스팅을 할예정.. 그런데 input을 두개 넣어야 될 경우가 있다. 위 그림과 같은 모델을 설계 하였을 경우,input이 2개가 되는데, 그냥 넣으면 되겠지 하고 넣었다가 [Error]Error when checking model input: the list of Numpy arrays that you are passing to your model is not the size the model expected. Expected to see 2 array(s), but instead got the ..