2_データ準備_keras
差分
このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン | ||
2_データ準備_keras [2017/11/05] – [開発環境] adash333 | 2_データ準備_keras [2018/10/07] (現在) – 外部編集 127.0.0.1 | ||
---|---|---|---|
行 38: | 行 38: | ||
# convert class vectors to binary class matrices | # convert class vectors to binary class matrices | ||
- | y_train = keras.utils.to_categorical(y_train, | + | y_train = keras.utils.to_categorical(y_train, |
- | y_test = keras.utils.to_categorical(y_test, | + | y_test = keras.utils.to_categorical(y_test, |
</ | </ | ||
行 50: | 行 50: | ||
Keras 2.0.9\\ | Keras 2.0.9\\ | ||
- | Keras2.0のインストール方法は[[windowsにkeras2.0をインストール]]をご覧下さい。 | + | Keras2.0のインストール方法は<wrap hi>[[windowsにkeras2.0をインストール]]</ |
- | このページは、[[(1)Kerasを使用するためのimport文]]の続きであり、今回は、MNISTのデータの準備・設定を行っていきます。 | + | このページは、<wrap hi>[[(1)Kerasを使用するためのimport文]]</ |
データの準備が難しいところなのですが、今回は、最初なので、Kerasであらかじめ用意されているMNISTデータセットを利用します。 | データの準備が難しいところなのですが、今回は、最初なので、Kerasであらかじめ用意されているMNISTデータセットを利用します。 | ||
- | オリジナルデータセットの準備については、後日、[[Keras2用自前データの準備]]に記載予定です。 | + | オリジナルデータセットの準備については、後日、<wrap hi>[[Keras2用自前データの準備]]</ |
===== 手順 ===== | ===== 手順 ===== | ||
行 68: | 行 68: | ||
< | < | ||
- | from chainer.datasets import mnist | + | #2 データ準備(Keras)(MNISTの場合) |
+ | # Kerasが用意しているMNISTデータセットをダウンロードしてx_train, | ||
+ | # https:// | ||
+ | from keras.datasets import mnist | ||
- | # データセットがダウンロード済みでなければ、ダウンロードも行う | + | (x_train, y_train), (x_test, y_test) |
- | train, test = mnist.get_mnist(withlabel=True, ndim=1) | + | x_train |
+ | x_test | ||
+ | x_train = x_train.astype(' | ||
+ | x_test = x_test.astype(' | ||
+ | x_train /= 255 | ||
+ | x_test /= 255 | ||
+ | |||
+ | # convert class vectors to binary class matrices | ||
+ | y_train = keras.utils.to_categorical(y_train, | ||
+ | y_test = keras.utils.to_categorical(y_test, | ||
# matplotlibを使ったグラフ描画結果がnotebook内に表示されるようにします。 | # matplotlibを使ったグラフ描画結果がnotebook内に表示されるようにします。 | ||
行 78: | 行 90: | ||
# データの例示 | # データの例示 | ||
- | x, t = train[0] | + | x = x_train[0] |
+ | t = np.argmax(y_train[0]) | ||
plt.imshow(x.reshape(28, | plt.imshow(x.reshape(28, | ||
plt.show() | plt.show() | ||
行 84: | 行 97: | ||
</ | </ | ||
- | 以下のような画面になります。(以下の画面は、2回目以降の画面となります。最初は、「Downloading from %%http:// | + | 以下のような画面になります。(以下の画面は、2回目以降の画面となります。最初は、「Downloading from %%http:// |
- | {{:pasted:20171103-211623.png}} | + | {{:pasted:20171106-051156.png}} |
+ | |||
+ | {{: | ||
順に解説していきます。 | 順に解説していきます。 | ||
< | < | ||
- | from chainer.datasets import mnist | + | #2 データ準備(Keras)(MNISTの場合) |
+ | # Kerasが用意しているMNISTデータセットをダウンロードしてx_train, | ||
+ | # https:// | ||
+ | from keras.datasets import mnist | ||
- | # データセットがダウンロード済みでなければ、ダウンロードも行う | + | (x_train, y_train), (x_test, y_test) |
- | train, test = mnist.get_mnist(withlabel=True, | + | |
</ | </ | ||
- | Chainerが用意しているchainer.datasetsから、手書き数字MNISTのデータをダウンロードして読み込みます。 | + | Kerasが用意しているkeras.datasetsから、手書き数字MNISTのデータをダウンロードして読み込みます。 |
MNISTとは何か、またこれから何をやろうとしているのかについては、以下のサイトが非常に分かりやすいです。\\ | MNISTとは何か、またこれから何をやろうとしているのかについては、以下のサイトが非常に分かりやすいです。\\ | ||
http:// | http:// | ||
- | ちなみに、よく言われているMNISTの元データのダウンロードついては、[[http:// | + | ちなみに、よく言われているMNISTの元データのダウンロードついては、[[http:// |
手書き数字MNISTは、本来は28x28pixelのグレースケールの画像と、それが何の数字であるかの正解ラベルのセットです。この画像と正解ラベルのセットが、training用の6万セット、test用の1万セットとなっています。 | 手書き数字MNISTは、本来は28x28pixelのグレースケールの画像と、それが何の数字であるかの正解ラベルのセットです。この画像と正解ラベルのセットが、training用の6万セット、test用の1万セットとなっています。 | ||
- | ただ、画像のままではChainerでは読み込めません。そのため、画像を0~255の値をとる284個の数字が1列に並んだ配列(ndim=1)に変換(さらに正規化といって全部255で割る)したものと、正解ラベルのセット(withlabel=True)に変換したものを、chainer.datasets.get_mnist()関数で呼び出して、trainとtestという変数に代入しています。 | + | ただ、画像のままではKerasでは読み込めません。そのため、画像を0~255の値をとる784個の数字が1列に並んだ配列に変換(reshape(60000, |
+ | さらに、以下のコードで、正解ラベルをone hot ベクトルに変換したものを、y_trainに代入しています。 | ||
- | >なかがどんなカタチになっているかというと、一つの行(train[0])に | + | <code> |
- | >%%[[%%.234809284, | + | # convert class vectors to binary class matrices |
- | > | + | y_train = keras.utils.to_categorical(y_train, 10) |
- | >また、chainerではtrainで学習して、testで試してみて正解率を見ていく感じになります。\\ | + | y_test = keras.utils.to_categorical(y_test, 10) |
- | 出典: | + | </code> |
具体的には、今回、 | 具体的には、今回、 | ||
< | < | ||
- | x, t = train[0] | ||
print(x) | print(x) | ||
print(t) | print(t) | ||
</ | </ | ||
と入力してShift + Enterで実行すると、以下のように表示されてます。 | と入力してShift + Enterで実行すると、以下のように表示されてます。 | ||
- | {{: | ||
- | {{:pasted:20171103-213221.png}} | + | {{:pasted:20171106-053503.png}} |
- | ちなみに、 | + | {{:pasted:20171106-053530.png}} |
- | < | + | |
- | print(train[0]) | + | |
- | </ | + | |
- | とすると、以下のように表示されて、train[0]は、1x784のNumpy配列(各要素は0から1までの数値(dtype=float32))と、正解ラベル(dtype=int32)のタプル(tuple)であることが分かります。 | + | |
- | {{:pasted:20171103-213448.png}} | + | |
- | {{:pasted:20171103-213512.png}} | + | {{:pasted:20171106-054412.png}} |
+ | xは、1x784のNumpy配列(各要素は0から1までの数値(dtype=float32))であり、tは正解ラベル(dtype=int32)となっています。 | ||
- | 次は、train[0]の画像データをJupyter Notebookで可視化しています。 | + | コードの解説に戻ります。\\ |
+ | 次は、x_train[0]の画像データをJupyter Notebookで可視化しています。 | ||
< | < | ||
- | # matplotlibを使ったグラフ描画結果がnotebook内に表示されるようにします。 | + | # matplotlibを使ったグラフ描画結果がjupyter |
%matplotlib inline | %matplotlib inline | ||
import matplotlib.pyplot as plt | import matplotlib.pyplot as plt | ||
# データの例示 | # データの例示 | ||
- | # trainデータセットの1行目を、画像データのNumpy配列(1x784)をx、正解ラベルをtとして取り出す | + | # x_trainデータセットの1行目、つまり、画像データのNumpy配列(1x784)をxとして取り出す |
- | x, t = train[0] | + | x = x_train[0] |
+ | # y_trainの正解ラベル(one-hot表現のベクトル)の1行目を取り出し、numpyのargmax関数で数値として取り出す | ||
+ | # 今回は正解ラベルのインデックスが、そのまま、数字0や1のラベルとなっている。 | ||
+ | t = np.argmax(y_train[0]) | ||
# 1x784のNumpy配列xを、28x28のNumpy配列に変換後、matplotlibのpyplotを用いて、 | # 1x784のNumpy配列xを、28x28のNumpy配列に変換後、matplotlibのpyplotを用いて、 | ||
# グレースケール画像として読み込み、Jupyter Notebook内で表示 | # グレースケール画像として読み込み、Jupyter Notebook内で表示 | ||
行 152: | 行 168: | ||
</ | </ | ||
- | こちらは、ダウンロードしたMNIST画像の1つを、Jupyter Notebook上に表示して確認しています。一つ一つのコードについては、上記のコード内にコメントで記載しました。ここでは、numpyのreshape()関数と、matplotlib.pyplotのimshow()関数、show()関数を用いています。numpyとmatplotlibは機械学習プログラミングでよく使いますので、特にNumpyについては勉強しておく必要があります。 | + | こちらは、ダウンロードしたMNIST画像の1つを、Jupyter Notebook上に表示して確認しています。一つ一つのコードについては、上記のコード内にコメントで記載しました。ここでは、Numpyのreshape()関数と、matplotlib.pyplotのimshow()関数、show()関数を用いています。numpyとmatplotlibは機械学習プログラミングでよく使いますので、特にNumpyについては勉強しておく必要があります。 |
- | Numpyについては、[[http:// | + | Numpyについては、[[http:// |
- | < | + | 後半のコードは、特にMNISTのtrainingを行う際には不要ですが、データを読み込んだときに、読み込んだデータと元のデータとの整合性の検証は大事なことなので、このようなコードを記載しました。 |
- | <iframe style=" | + | |
- | & | + | |
- | <iframe style=" | + | |
+ | Kerasが用意しているMNISTデータセットを用いる手順は上記でおしまいです。 | ||
- | </ | ||
+ | 初めての場合は、次は、とりあえず、< | ||
+ | |||
+ | ===== keras.datasets.mnist.load_data()関数について ===== | ||
+ | |||
+ | trainとtestに対応する2つのdatasetを返します。 | ||
+ | |||
+ | (1)グレースケール画像のデータをgetする場合\\ | ||
+ | 今回はそれにあたります(MNISTなんてグレースケールで十分)が、 | ||
+ | < | ||
+ | from keras.datasets import mnist | ||
+ | |||
+ | (x_train, y_train), (x_test, y_test) = mnist.load_data() | ||
+ | </ | ||
+ | のように、x_trainとx_testに、画像データをNumpy配列に変換済みのものを代入し、y_trainとy_testに対応する正解ラベルを代入します。 | ||
+ | |||
+ | (2)もともとのデータセットがグレースケール画像のデータとなっています。 | ||
+ | |||
+ | Keras関連の関数については、公式マニュアルを読むのが一番です。日本語もあります!公式マニュアルが比較的読みやすいです。 | ||
+ | |||
+ | https:// | ||
+ | {{: | ||
+ | |||
+ | |||
+ | ===== one-hotエンコーディング について ===== | ||
+ | たとえば、正解ラベルが0, | ||
+ | < | ||
+ | 0 => [1, 0, 0, 0, 0, 0, 0 ,0, 0, 0] | ||
+ | 1 => [0, 1, 0, 0, 0, 0, 0 ,0, 0, 0] | ||
+ | 2 => [0, 0, 1, 0, 0, 0, 0 ,0, 0, 0] | ||
+ | ... | ||
+ | 9 => [0, 0, 0, 0, 0, 0, 0 ,0, 0, 1] | ||
+ | </ | ||
+ | のように、数値をベクトルで表現することを、one-hot エンコーディングといいます。 | ||
- | 後半のコードは、特にMNISTのtrainingを行う際には不要ですが、データを読み込んだときに、読み込んだデータと元のデータとの整合性の検証は大事なことなので、このようなコードの記載があるのだと思われます。 | + | 機械学習の計算では、コンピュータに行列計算をさせることが多い(だからGPUをうまく使用すると計算スピードが速くなる)ので、正解ラベルもベクトルで表現しておくと都合がよいらしいです。コンピュータに効率良く計算させるために、ミニバッチ学習とか、プログラミング的には面倒なだけで意味不明なことをやっていたりするという噂を聞いたりしたことがあります(まだちゃんと理解していません、間違っていたらすみません、、、)。 |
- | Chainerが用意しているMNISTデータセットを用いる手順は上記でおしまいです。 | + | ちなみに、one-hotベクトルを、通常のラベルに戻すときには、Numpyのargmax()関数を利用して、one-hotベクトル(=配列)の、最大要素のインデックスを取り出して、数値に戻します。具体的な方法は、[[Keras2用自前データの準備]]に記載予定です。 |
- | <wrap hi> | ||
- | 初めての場合は、次は、とりあえず、</ | ||
- | </ | ||
+ | 2016-11-08 Kerasによる多クラス分類(Iris) | ||
+ | http:// | ||
===== 参考文献 ===== | ===== 参考文献 ===== | ||
初めてKerasプログラミングをやるときの超おすすめ本。\\ | 初めてKerasプログラミングをやるときの超おすすめ本。\\ |
2_データ準備_keras.txt · 最終更新: 2018/10/07 by 127.0.0.1