Commit: 6d18270d4073ebe203d054845675b35235aa23e8 - TensorFlow-Sample (git)

TensorFlowサンプルコード

Commit MetaInfo

• Revision: 6d18270d4073ebe203d054845675b35235aa23e8 (tree)
• Time: 2018-01-18 20:36:56
• Author: hylom <hylom@hylo...>
• Commiter: hylom

Log Message

add TFRecord samples

Change Summary

• add: tfrecords/convert_tfr.py
• add: tfrecords/create_data.sh
• add: tfrecords/neural_learning.py

Incremental Difference

--- /dev/null
+++ b/tfrecords/convert_tfr.py
@@ -0,0 +1,104 @@
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+import argparse
+import os
+
+import tensorflow as tf
+
+def main():
+    # 引数をパースする
+    p = argparse.ArgumentParser(description='convert images to TFRecord format')
+    p.add_argument('dimension',
+                   type=lambda x: [int(r) for r in x.split("x")],
+                   help='image dimension. example: 10x10')
+    p.add_argument('label',
+                   type=int,
+                   help='label.')
+    p.add_argument('output',
+                   #type=argparse.FileType('w'),
+                   help='output file')
+    p.add_argument('target_dir',
+                   nargs='+',
+                   help='target directory')
+    args = p.parse_args()
+    if len(args.dimension) != 2:
+        raise argparse.ArgumentTypeError("dimension must be <num>x<num>") 
+
+    # 計算グラフを構築する
+    (width, height) = args.dimension
+    (filepath, padded_image) = _create_comp_graph(width, height)
+
+    # 出力先の用意
+    writer = tf.python_io.TFRecordWriter(args.output)
+      
+    # セッションを実行
+    sess = tf.Session()
+
+    # 指定したディレクトリ内のファイルを列挙する
+    for dirname in args.target_dir:
+        for filename in os.listdir(dirname):
+            pathname = os.path.join(dirname, filename)
+            print("process {}...".format(pathname))
+            try:
+                image = sess.run(padded_image, {filepath: pathname})
+            except tf.errors.InvalidArgumentError:
+                # 読み込みに失敗したらメッセージを出力して継続する
+                print("{}: invalid jpeg file. ignored.".format(pathname))
+                continue
+
+            features = tf.train.Features(feature={
+                'label':     tf.train.Feature(int64_list=tf.train.Int64List(value=[args.label])),
+                'height':    tf.train.Feature(int64_list=tf.train.Int64List(value=[height])),
+                'width':     tf.train.Feature(int64_list=tf.train.Int64List(value=[width])),
+                'raw_image': tf.train.Feature(float_list=tf.train.FloatList(value=image.reshape(width*height*3))),
+            })
+            example = tf.train.Example(features=features)
+            writer.write(example.SerializeToString())
+
+    # 終了
+    writer.close()
+    print("done")
+
+# 指定したファイルを読み出して指定したサイズにリサイズする
+def _create_comp_graph(width, height):
+    filepath = tf.placeholder(tf.string, name="pathname")
+    content = tf.read_file(filepath)
+    raw_image = tf.image.decode_jpeg(content, channels=3)
+    # raw_imageのデータ型はuint8
+
+    # 画像のサイズを[height, width, channels]の形で取得
+    shape = tf.shape(raw_image)
+    raw_height = tf.to_float(tf.slice(shape, [0], [1]))
+    raw_width = tf.to_float(tf.slice(shape, [1], [1]))
+
+    # 画像サイズと出力サイズのアスペクト比を比較し、
+    # 画像サイズのほうが大きければ高さを、
+    # 小さければ幅を出力サイズにそろえるよう
+    # 拡大縮小比を求める
+    # 幅/高さは整数（int）型データなので、適宜float型に変換する
+    aspect_ratio = float(height) / width
+    raw_aspect_ratio = raw_height / raw_width
+    scale = tf.cond(tf.reduce_any(raw_aspect_ratio > [aspect_ratio]),
+                     lambda: [height] / raw_height,
+                     lambda: [width] / raw_width
+    )
+
+    # 求めた比率で画像をリサイズする
+    # resized_imageはfloat32型となる
+    new_size = tf.to_int32(tf.concat([raw_height, raw_width], 0) * scale)
+    resized_image = tf.image.resize_images(raw_image, new_size)
+
+    # 余白を0で埋めて指定したサイズにそろえる
+    padded_image = tf.image.resize_image_with_crop_or_pad(
+        resized_image,
+        height,
+        width
+    )
+
+    return (filepath, padded_image)
+
+
+if __name__ == "__main__":
+    main()
+
+

--- /dev/null
+++ b/tfrecords/create_data.sh
@@ -0,0 +1,10 @@
+#!/bin/sh
+DATA_DIR=../data2
+
+LABEL=0
+for i in cat dog monkey; do
+    echo convert $i:$LABEL
+    ./convert_tfr.py 100x100 $LABEL ${DATA_DIR}/teach_$i.tfrecord ${DATA_DIR}/$i/teach
+    ./convert_tfr.py 100x100 $LABEL ${DATA_DIR}/test_$i.tfrecord  ${DATA_DIR}/$i/test
+    LABEL=$(expr $LABEL + 1)
+done

--- /dev/null
+++ b/tfrecords/neural_learning.py
@@ -0,0 +1,181 @@
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+import sys
+import tensorflow as tf
+
+INPUT_WIDTH = 100
+INPUT_HEIGHT = 100
+INPUT_CHANNELS = 3
+
+INPUT_SIZE = INPUT_WIDTH * INPUT_HEIGHT * INPUT_CHANNELS
+W1_SIZE = 200
+OUTPUT_SIZE = 3
+LABEL_SIZE = OUTPUT_SIZE
+
+TEACH_FILES = ["../data2/teach_cat.tfrecord",
+               "../data2/teach_dog.tfrecord",
+               "../data2/teach_monkey.tfrecord"]
+TEST_FILES = ["../data2/test_cat.tfrecord",
+               "../data2/test_dog.tfrecord",
+               "../data2/test_monkey.tfrecord"]
+
+MODEL_NAME = "./neural_model"
+
+tf.set_random_seed(1111)
+
+# モデルを定義
+with tf.variable_scope('model') as scope:
+    x1 = tf.placeholder(dtype=tf.float32)
+    y = tf.placeholder(dtype=tf.float32)
+
+    # 第2層
+    W1 = tf.get_variable("W1",
+                         shape=[INPUT_SIZE, W1_SIZE],
+                         dtype=tf.float32,
+                         initializer=tf.random_normal_initializer(stddev=0.01))
+    b1 = tf.get_variable("b1",
+                         shape=[W1_SIZE],
+                         dtype=tf.float32,
+                     initializer=tf.random_normal_initializer(stddev=0.01))
+    x2 = tf.sigmoid(tf.matmul(x1, W1) + b1, name="x2")
+
+    # 第3層
+    W2 = tf.get_variable("W2",
+                         shape=[W1_SIZE, OUTPUT_SIZE],
+                         dtype=tf.float32,
+                         initializer=tf.random_normal_initializer(stddev=0.01))
+    b2 = tf.get_variable("b2",
+                         shape=[OUTPUT_SIZE],
+                         dtype=tf.float32,
+                         initializer=tf.random_normal_initializer(stddev=0.01))
+    x3 = tf.nn.softmax(tf.matmul(x2, W2) + b2, name="x3")
+
+    # コスト関数
+    cross_entropy = -tf.reduce_sum(y * tf.log(x3), name="cross_entropy")
+    tf.summary.scalar('cross_entropy', cross_entropy)
+    
+    # 正答率
+    # 出力テンソルの中でもっとも値が大きいもののインデックスが
+    # 正答と等しいかどうかを計算する
+    correct = tf.equal(tf.argmax(x3,1), tf.argmax(y,1), name="correct")
+    accuracy = tf.reduce_mean(tf.cast(correct, "float"), name="accuracy")
+    tf.summary.scalar('accuracy', accuracy)
+
+    # 最適化アルゴリズムを定義
+    global_step = tf.Variable(0, name='global_step', trainable=False)
+    optimizer = tf.train.GradientDescentOptimizer(1e-4, name="optimizer")
+    minimize = optimizer.minimize(cross_entropy, global_step=global_step, name="minimize")
+
+    # 学習結果を保存するためのオブジェクトを用意
+    saver = tf.train.Saver()
+
+# 読み込んだデータの変換用関数
+def map_dataset(serialized):
+    features = {
+        'label':     tf.FixedLenFeature([], tf.int64),
+        'height':    tf.FixedLenFeature([], tf.int64),
+        'width':     tf.FixedLenFeature([], tf.int64),
+        'raw_image': tf.FixedLenFeature([INPUT_SIZE], tf.float32),
+    }
+    parsed = tf.parse_single_example(serialized, features)
+
+    # 読み込んだデータを変換する
+    raw_label = tf.cast(parsed['label'], tf.int32)
+    label = tf.reshape(tf.slice(tf.eye(LABEL_SIZE),
+                                [raw_label, 0],
+                                [1, LABEL_SIZE]),
+                       [LABEL_SIZE])
+
+    image = parsed['raw_image']
+    return (image, label, raw_label)
+
+## データセットの読み込み
+# 読み出すデータは各データ200件ずつ×3で計600件
+dataset = tf.data.TFRecordDataset(TEACH_FILES)\
+                 .map(map_dataset)\
+                 .batch(600)
+
+# データにアクセスするためのイテレータを作成
+iterator = dataset.make_one_shot_iterator()
+item = iterator.get_next()
+
+# セッションの作成
+sess = tf.Session()
+
+# 変数の初期化を実行する
+sess.run(tf.global_variables_initializer())
+
+# 学習結果を保存したファイルが存在するかを確認し、
+# 存在していればそれを読み出す
+latest_filename = tf.train.latest_checkpoint("./")
+if latest_filename:
+    print("load saved model {}".format(latest_filename))
+    saver.restore(sess, latest_filename)
+
+# サマリを取得するための処理
+summary_op = tf.summary.merge_all()
+summary_writer = tf.summary.FileWriter('data', graph=sess.graph)
+
+# 学習用データを読み出す
+(dataset_x, dataset_y, values_y) = sess.run(item)
+
+
+steps = tf.train.global_step(sess, global_step)
+
+if steps == 0:
+    # 初期状態を記録
+    xe, acc, summary = sess.run([cross_entropy, accuracy, summary_op], {x1: dataset_x, y: dataset_y})
+    print("CROSS ENTROPY({}): {}".format(0, xe))
+    print("     ACCURACY({}): {}".format(0, acc))
+    summary_writer.add_summary(summary, global_step=0)
+
+# 学習を開始
+for i in range(10):
+    for j in range(100):
+        sess.run(minimize, {x1: dataset_x, y: dataset_y})
+
+    # 途中経過を取得・保存
+    xe, acc, summary = sess.run([cross_entropy, accuracy, summary_op], {x1: dataset_x, y: dataset_y})
+    print("CROSS ENTROPY({}): {}".format(steps + 100 * (i+1), xe))
+    print("     ACCURACY({}): {}".format(steps + 100 * (i+1), acc))
+    summary_writer.add_summary(summary, global_step=tf.train.global_step(sess, global_step))
+
+# 学習終了
+# 結果を保存する
+save_path = saver.save(sess, MODEL_NAME, global_step=tf.train.global_step(sess, global_step))
+print("Model saved to {}".format(save_path))
+
+## 結果の出力
+
+# 学習に使用したデータを入力した場合の
+# 正答率を計算する
+print("----result with teaching data----")
+
+print("assumed label:")
+print(sess.run(tf.argmax(x3, 1), feed_dict={x1: dataset_x}))
+print("real label:")
+print(sess.run(tf.argmax(y, 1), feed_dict={y: dataset_y}))
+print("accuracy:", sess.run(accuracy, feed_dict={x1: dataset_x, y: dataset_y}))
+
+
+# テスト用データを入力した場合の
+# 正答率を計算する
+print("----result with test data----")
+
+## テスト用データセットの読み込み
+# テストデータは50×3＝150件
+dataset2 = tf.data.TFRecordDataset(TEST_FILES)\
+                 .map(map_dataset)\
+                 .batch(150)
+iterator2 = dataset2.make_one_shot_iterator()
+item2 = iterator2.get_next()
+(dataset_x, dataset_y, values_y) = sess.run(item2)
+
+# 正答率を出力
+print("assumed label:")
+print(sess.run(tf.argmax(x3, 1), feed_dict={x1: dataset_x}))
+print("real label:")
+print(sess.run(tf.argmax(y, 1), feed_dict={y: dataset_y}))
+print("accuracy:", sess.run(accuracy, feed_dict={x1: dataset_x, y: dataset_y}))
+    
+