TensorFlow Mechanics 101(TensorFlow力学101)

TensorFlow Mechanics 101

代码:tensorflow / examples / tutorials / mnist /

本教程的目标是展示如何使用TensorFlow来使用(经典)MNIST数据集来训练和评估用于手写数字分类的简单前馈神经网络。本教程的目标读者是有兴趣使用TensorFlow的有经验的机器学习用户。

这些教程不适用于一般的机器学习教学。

请确保您已按照说明安装TensorFlow

教程文件

本教程引用了以下文件:

文件目的
mnist.py构建完全连接的MNIST模型的代码。
fully_connected_feed.py使用Feed字典训练构建的MNIST模型与下载的数据集的主要代码。

只需fully_connected_feed.py直接运行该文件即可开始培训:

python fully_connected_feed.py

准备数据

MNIST是机器学习中的一个经典问题。问题在于查看手写数字的灰度28x28像素图像,并确定图像代表哪个数字,所有数字从零到九。

欲了解更多信息,请参阅Yann LeCun的MNIST页面Chris Olah的MNIST可视化

下载

在该run_training()方法的顶部,该input_data.read_data_sets()功能将确保将正确的数据下载到本地培训文件夹,然后解压缩该数据以返回DataSet实例字典。

data_sets = input_data.read_data_sets(FLAGS.train_dir, FLAGS.fake_data)

注意:该fake_data标志用于单元测试目的,可能会被读者安全忽略。

数据集目的
data_sets.train55000图像和标签,用于初级培训。
data_sets.validation5000个图像和标签,用于迭代验证训练精度。
data_sets.test10000个图像和标签,用于最终测试的训练精度。

输入和占位符

placeholder_inputs()函数创建了两个tf.placeholder操作,它们定义了输入的形状,包括batch_size图形的其余部分,并将实际训练示例提供给其中。

images_placeholder = tf.placeholder(tf.float32, shape=(batch_size, mnist.IMAGE_PIXELS)) labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))

再往下,在训练循环中,将完整图像和标签数据集切片以适合batch_size每个步骤,与这些占位符操作相匹配,然后sess.run()使用feed_dict参数传递给函数。

Build the Graph

产生用于数据的占位符后,图表从内置mnist.py文件根据3级图案:inference()loss(),和training()被建立。

1. inference() - 根据需要构建图表,以便向前运行网络进行预测。

2. loss() - 向推理图添加产生损失所需的操作

3. training() - 将计算和应用渐变所需的操作添加到损失图中。

推理

inference()函数根据需要构建图形以返回将包含输出预测的张量。

它将图像占位符作为输入,并在其上建立一对完全连接的图层,其中包含ReLU(https://en.wikipedia.org/wiki/Rectifier_(neural_networks%29))激活,随后是10节点线性图层,指定输出logits。

每个图层都创建在一个唯一的下方tf.name_scope,作为在该范围内创建的项目的前缀。

with tf.name_scope('hidden1'):

在定义的范围内,这些要使用权重和偏差值的图层每个都会为生成tf.Variable具有所需形状的实例:

weights = tf.Variable( tf.truncated_normal([IMAGE_PIXELS, hidden1_units], stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))), name='weights') biases = tf.Variable(tf.zeros([hidden1_units]), name='biases')

例如,当它们在hidden1范围内创建时,给予权重变量的唯一名称就是“ hidden1/weights”。

每个变量被赋予初始化操作作为其构造的一部分。

在这种最常见的情况下,权重用tf.truncated_normal二维张量的形状初始化,其中第一个dim表示权重连接的图层中的单位数,第二个dim表示单位的数量权重连接的层。对于名为的第一层,hidden1尺寸是[IMAGE_PIXELS, hidden1_units]因为权重将图像输入连接到hidden1图层。在tf.truncated_normal初始化生成与给定的平均值和标准偏差的随机分布。

然后,偏置被初始化tf.zeros以确保它们以所有零值开始,并且它们的形状仅仅是它们所连接的层中的单元的数量。

然后创建图的三个主要操作 - 两个tf.nn.reluops tf.matmul隐藏层和一个额外tf.matmul的logits - 分别依次tf.Variable连接到每个输入占位符或前一层的输出张量。

hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)

hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)

logits = tf.matmul(hidden2, weights) + biases

最后,logits返回包含输出的张量。

Loss

loss()函数通过添加所需的损耗操作来进一步构建图表。

首先,这些值labels_placeholder被转换为64位整数。然后,tf.nn.sparse_softmax_cross_entropy_with_logits添加op以自动生成单热标签labels_placeholder,并将该inference()功能的输出logits 与那些单热标签进行比较。

labels = tf.to_int64(labels) cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits( labels=labels, logits=logits, name='xentropy')

然后它使用tf.reduce_mean平均批量维度(第一维度)上的交叉熵值作为总损失。

loss = tf.reduce_mean(cross_entropy, name='xentropy_mean')

然后返回包含损失值的张量。

注意:交叉熵是信息理论中的一个概念,它允许我们描述相信神经网络的预测有多糟糕,因为实际上是真的。欲了解更多信息,请阅读博客文章视觉信息理论(http://colah.github.io/posts/2015-09-Visual-Information/)

训练

training()功能增加了通过渐变下降来减少损失所需的操作。

首先,它从loss()函数中获取损失张量,并将其交给a tf.summary.scalar,当与a一起使用时,将事件文件中的汇总值生成tf.summary.FileWriter(参见下文)。在这种情况下,每次写出摘要时它都会发出损失的快照值。

tf.summary.scalar('loss', loss)

接下来,我们实例化tf.train.GradientDescentOptimizer负责使用请求的学习速率应用渐变。

optimizer = tf.train.GradientDescentOptimizer(learning_rate)

然后,我们生成一个单变量来包含全局训练步骤的计数器,并且该tf.train.Optimizer.minimize操作用于更新系统中的可训练权重并增加全局步长。按照惯例,这个操作被称为train_opTensorFlow会话必须执行的操作,以便引导一个完整的培训步骤(见下文)。

global_step = tf.Variable(0, name='global_step', trainable=False) train_op = optimizer.minimize(loss, global_step=global_step)

训练模型

一旦图形被构建,就可以在由用户代码控制的循环中迭代地训练和评估fully_connected_feed.py

图表

run_training()函数的顶部是一个python with命令,用于指示所有构建的操作将与默认的全局tf.Graph实例关联。

with tf.Graph().as_default():

tf.Graph是可以作为一个组一起执行的操作集合。大多数TensorFlow使用只需要依赖单个默认图形。

更复杂的使用多个图是可能的,但超出了这个简单教程的范围。

The Session

一旦完成所有构建准备并生成所有必需的操作,tf.Session就会被创建来运行该图。

sess = tf.Session()

或者,Session可以生成一个with块进行范围界定:

with tf.Session() as sess:

会话的空参数表示此代码将附加到(或创建,如果尚未创建)默认本地会话。

创建会话后所有的tf.Variable实例通过调用tf.Session.run初始化操作被初始化

init = tf.global_variables_initializer() sess.run(init)

tf.Session.run方法将运行与作为参数传递的op相对应的图的完整子集。在这第一次调用中,initop是一个tf.group仅包含变量的初始值设定项的变量。没有其他的图表在这里运行; 发生在下面的训练循环中。

火车循环

通过会话初始化变量后,可开始培训。

用户代码控制每一步的训练,最简单的可以进行有用训练的循环是:

for step in xrange(FLAGS.max_steps): sess.run(train_op)

但是,本教程稍微复杂一些,因为它必须将每个步骤的输入数据切片以匹配先前生成的占位符。

Feed the Graph

对于每一步,代码将生成一个饲料字典,该饲料字典将包含一组步骤的实例,并由它们所代表的占位符操作。

在该fill_feed_dict()函数中,DataSet查询给定的下一batch_size组图像和标签,并且匹配占位符的张量被填充以包含下一个图像和标签。

images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size, FLAGS.fake_data)

然后生成一个python字典对象,其占位符作​​为关键字并将代表性的张量作为值输入。

feed_dict = { images_placeholder: images_feed, labels_placeholder: labels_feed, }

这被传递给sess.run()函数的feed_dict参数,为这一步的训练提供输入示例。

检查状态

该代码指定了两个要在其运行调用中获取的值:[train_op, loss]

for step in xrange(FLAGS.max_steps): feed_dict = fill_feed_dict(data_sets.train, images_placeholder, labels_placeholder) _, loss_value = sess.run([train_op, loss], feed_dict=feed_dict)

因为有两个值要获取,所以sess.run()返回一个包含两个元素的元组。Tensor在要获取的值列表中的每一个对应于返回元组中的一个numpy数组,在这个训练步骤中填充该张量的值。由于train_opOperation没有输出值,在返回的元组中的相应元件是None,因此,丢弃。然而,loss如果训练期间模型发散,则张量的值可能变为NaN,所以我们捕获这个值用于记录。

假设训练在没有NaN的情况下运行良好,训练循环还会每100步打印一个简单的状态文本,以让用户知道训练状态。

if step % 100 == 0: print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))

可视化状态

为了发布由TensorBoard使用的事件文件,所有的摘要(在这种情况下,只有一个)在图构建阶段被收集到一个张量中。

summary = tf.summary.merge_all()

And then after the session is created, a tf.summary.FileWriter may be instantiated to write the events files, which contain both the graph itself and the values of the summaries.

summary_writer = tf.summary.FileWriter(FLAGS.train_dir, sess.graph)

Lastly, the events file will be updated with new summary values every time the summary is evaluated and the output passed to the writer's add_summary() function.

summary_str = sess.run(summary, feed_dict=feed_dict) summary_writer.add_summary(summary_str, step)

When the events files are written, TensorBoard may be run against the training folder to display the values from the summaries.

NOTE: For more info about how to build and run Tensorboard, please see the accompanying tutorial Tensorboard: Visualizing Learning.

Save a Checkpoint

In order to emit a checkpoint file that may be used to later restore a model for further training or evaluation, we instantiate a tf.train.Saver.

saver = tf.train.Saver()

In the training loop, the tf.train.Saver.save method will periodically be called to write a checkpoint file to the training directory with the current values of all the trainable variables.

saver.save(sess, FLAGS.train_dir, global_step=step)

在将来的某个时间点,可以通过使用该tf.train.Saver.restore方法重新加载模型参数来恢复培训。

saver.restore(sess, FLAGS.train_dir)

评估模型

每千步,代码将尝试根据训练和测试数据集来评估模型。该do_eval()函数被称为三次,用于训练,验证和测试数据集。

print('Training Data Eval:') do_eval(sess, eval_correct, images_placeholder, labels_placeholder, data_sets.train) print('Validation Data Eval:') do_eval(sess, eval_correct, images_placeholder, labels_placeholder, data_sets.validation) print('Test Data Eval:') do_eval(sess, eval_correct, images_placeholder, labels_placeholder, data_sets.test)

请注意,更复杂的用法通常data_sets.test会在大量超参数调整之后将其隔离。然而,为了简单的MNIST问题,我们对所有数据进行评估。

Build the Eval Graph

在进入训练循环之前,Eval op应该已经通过使用与该evaluation()函数mnist.py相同的logits / labels参数调用函数来构建loss()

eval_correct = mnist.evaluation(logits, labels_placeholder)

如果在K个最可能的预测中可以找到真正的标签,该evaluation()函数可以简单地生成一个tf.nn.in_top_kop,它可以自动将每个模型输出评分为正确。在这种情况下,我们将K的值设置为1,以仅考虑真实标签的预测正确性。

eval_correct = tf.nn.in_top_k(logits, labels, 1)

评估输出

然后可以创建用于填充一个循环feed_dict,并调用sess.run()eval_correct来评估在给定数据集模型。

for step in xrange(steps_per_epoch): feed_dict = fill_feed_dict(data_set, images_placeholder, labels_placeholder) true_count += sess.run(eval_correct, feed_dict=feed_dict)

true_count变量只是积累所有的预测的in_top_kOP已经确定并且正确的。从那里,精确度可以通过简单除以示例的总数来计算。

precision = true_count / num_examples print(' Num examples: %d Num correct: %d Precision @ 1: %0.04f' % (num_examples, true_count, precision))