When will you grow up?

자세한 내용은 https://blog.keras.io/a-ten-minute-introduction-to-sequence-to-sequence-learning-in-keras.htmlLearning Phrase Representations using RNN Encoder-Decoder for Statistical machine Translation를 참조하시고 keras blog에 있는 내용을 제 공부를 위해 정리한 내용입니다. Sequence to Sequence Model은 Text Generative Model중 대표적인 모델중에 하나입니다. Sequence-to-sequence 학습 (Seq2Seq)은 하나의 도메인 (예 : 영어 문장)에서 다른 도메인의 시퀀스 (ex : 프랑스어로 번역 된 동일..

Transfer Learning이란?- 일반적으로 우리가 사용하는 Deep Learning에서 여러가지 문제점이 존재할 수 있다.흔한경우를 보면, 학습시켜야할 데이터수가 적을수도 있고, 충분한 학습을 위한 서버컴퓨터가 없을수도 있다. 여러가지 이유가 존재하겠지만,그래서 일반적으로 VGG,ResNet,gooGleNet등 이미 이러한 사전에 학습이 완료된 모델(Pre-Training Model)을 가지고 우리가 원하는 학습에 미세 조정 즉, 작은변화를 이용하여 학습시키는 방법이 Transfer Learning이다. 이야기하자면, 이미학습된 weight들을 transfer(전송)하여 자신의 model에 맞게 학습을 시키는 방법입니다. Keras에서는 이미 학습된 주요 모델들을 간편하게 제공합니다. 123456..

이번시간에는 RNN model을 기반으로 generative models을 만들어 보겠습니다.추가적으로 예측모델(Predictive models)을 만드는데 그럴듯한 스퀀스를 생성합니다. 이 예제에서는 원하는 large text를 이용하여 학습을 시켜 스퀀스 data를 생성할 수 있습니다. 문제 발생시 : 삭제 하도록 하겠습니다 Input Text data : http://www.bioinf.jku.at/publications/older/2604.pdf위 주소에서 크롤링을 하여 Text 파일로 "LSTM"이라는 이름으로 저장을 시켰다. [Data] [모델 정의] [Epochs 시각화] [학습된 모델로 Text Generation] 12345678910111213141516171819202122232425..

저번시간에는 word embedding /1D conv, maxpool 을 이용하여 IMDB dataset을 학습 시켰다면,이번시간에는 RNN중에서도 가장 많이사용되는, LSTM으로 IMDB dataset을 학습시켜 볼 예정입니다. 기본적으로 RNN(Recurrent Neural Network)은 시간에 따라 x가 변화하는 데이터를 학습시키기에 좋은 Neural Network 입니다(ex. 동영상, 음성, text 등등) [1.기본적인 RNN 구조] RNN은 기존에 NN와 비슷한 모양처럼 생겼지만, 중간에 Recurrent의 구조가 반복되는 구조가 다른점 입니다.이 구조를 펼쳐보면 오른쪽과 1번 이미지의 오른쪽의 구조처럼 각 중간중간의 Hidden Layer들이 연결되어 있는 구조 입니다.보통 Neura..

이번시간에는,Keras를 이용하여 IMDB dataset으로 NLP학습을 해보겠습니다.IMDB dataset은 스탠포드 연구원에 의해 수집되었으며,Large Movie Review Sentence dataset고, 문장에 따라 good(긍정) / bad(부정)으로 나뉘는 Label이 되어 있습니다. Keras로 IMDB 데이터셋을 불러오면training용 Data 25000 / test용 Data 25000로 구성이 되어있습니다.1234from keras.datasets import imdb #load the dataset(x_train, y_train), (x_test, y_test) = imdb.load_data()cs word Embedding 이란?- 자연어 처리 분야(NLP)에서 학습을 할 수 ..

[code]12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667# -*- coding: utf-8 -*- from keras.models import Sequentialfrom keras.layers import Denseimport numpy as np import pandas as pdfrom sklearn.cross_validation import train_test_splitfrom keras.callbacks import EarlyStoppingfrom keras.layers import Dense, Dropout, Activ..

[Code]123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102import numpy as npimport mnist_readerfrom keras.datasets import mnistfrom keras.models import Sequentialfrom keras.layers import Densefrom keras.layers import Dropoutfrom keras.layers import Fla..

CIFAR-10 dataset 을 이용하여, Keras로 CNN모델구성을 하여, 학습을 시켜보고 약 85%성능을 내는 모델을 만들어보겠습니다. Convolution Neural Network (using CIFAR-10 data) Processing 1.Load Data2.Define Model3.Compile Model4.Fit Model5.Evaluate Model6.Tie It All Together 1~6번 순서로 진행하며, (2,3,4)번을 바꿔가면서 최적의 성능을 내는 CNN를 완성할 것이다. Load Data Define Model [Conv -Activation - BatchNormalization] [Conv -BatchNormalization- Activation] Layer 순서를 위..

모든글 작성은 내 이해를 돕고자 작성하였다. 6월 15일에 tensorflow가 업데이트 되면서 In addition to our base Tensorflow detection model definitions, this release includes:A selection of trainable detection models, including:Single Shot Multibox Detector (SSD) with MobileNet,SSD with Inception V2,Region-Based Fully Convolutional Networks (R-FCN) with Resnet 101,Faster RCNN with Resnet 101,Faster RCNN with Inception Resnet v2Fr..

유명한 Stanford cs231n강의를 듣고 제 이해를 돕고자 내용정리를 했습니다.참고내용 : http://cs231n.stanford.edu/2016/ 강의동영상 : https://www.youtube.com/watch?v=NfnWJUyUJYU&list=PLkt2uSq6rBVctENoVBg1TpCC7OQi31AlC 이미지 분류(Image Classification)란? ->컴퓨터비전(Computer Vision)에 있어서 중요한 부분이다.->분류가 가능해지면 detection, Segmentation, Image Captioning 등을 할 수 있다. 오래전부터 (Computer vision)분야에서는 이미지를 보고 edge,shape 등을 검출하여 이미지 분류를 계속해서 해오고 있다. 하지만 위 그..