●章数学准备001
1.1偏微分001
1.1.1导函数和偏导函数001
1.1.2微分系数与偏微分系数003
1.1.3偏微分的基本公式006
1.1.4复合函数的偏微分007
1.1.5拓展全微分009
1.2线性代数011
1.2.1向量011
1.2.1.1向量的基础知识011
1.2.1.2向量的和与标量倍数011
1.2.1.3向量的内积012
1.2.2矩阵013
1.2.2.1矩阵的基础知识013
1.2.2.2矩阵的和与标量倍数014
1.2.2.3矩阵的乘积014
1.2.2.4正则矩阵与逆矩阵016
1.2.2.5转置矩阵017
1.3小结018
第2章Python准备019
2.1Python2和Python3020
2.2Anaconda发行版021
2.3Python的基础知识025
2.3.1Python程序的执行025
2.3.2数据类型026
2.3.2.1类型是什么026
2.3.2.2字符串类型027
2.3.2.3数值类型028
2.3.2.4布尔类型030
2.3.3变量031
2.3.3.1变量是什么031
2.3.3.2变量与类型032
2.3.4数据结构033
2.3.4.1列表033
2.3.4.2字典034
2.3.5运算035
2.3.5.1运算符与操作数035
2.3.5.2算术运算的运算符036
2.3.5.3赋值运算符036
2.3.6基本结构038
2.3.6.1if语句038
2.3.6.2while语句039
2.3.6.3for语句041
2.3.7函数043
2.3.8类045
2.3.9库048
2.4NumPy049
2.4.1NumPy数组049
2.4.2使用NumPy进行向量和矩阵的计算051
2.4.3数组和多维数组的生成053
2.4.4切片054
2.4.5广播056
2.5面向深度学习的库058
2.5.1TensorFlow058
2.5.2Keras059
2.5.3参考Theano060
2.6小结063
第3章神经网络065
3.1什么是神经网络065
3.1.1脑和神经元065
3.1.2深度学习和神经网络066
3.2作为电路的神经网络067
3.2.1简单的模型化067
3.2.2逻辑电路069
3.2.2.1逻辑门069
3.2.2.2与门069
3.2.2.3或门072
3.2.2.4非门074
3.3简单感知机075
3.3.1模型化075
3.3.2实现077
3.4逻辑回归081
3.4.1阶跃函数与sigmoid函数081
3.4.2模型化082
3.4.2.1似然函数与交熵误差函数082
3.4.2.2梯度下降法084
3.4.2.3随机梯度下降法与小批量梯度下降法085
3.4.3实现086
3.4.3.1使用TensorFlow的实现086
3.4.3.2使用Keras的实现092
3.4.4拓展sigmoid函数与概率密度函数、累积分布函数096
3.4.5拓展梯度下降法和局部优解099
3.5多分类逻辑回归101
3.5.1softmax函数101
3.5.2模型化102
3.5.3实现106
3.5.3.1使用TensorFlow的实现106
3.5.3.2使用Keras的实现110
3.6多层感知机111
3.6.1非线性分类111
3.6.1.1异或门111
3.6.1.2逻辑门的组合113
3.6.2模型化115
3.6.3实现119
3.6.3.1使用TensorFlow的实现119
3.6.3.2使用Keras的实现122
3.7模型的评估123
3.7.1从分类到预测123
3.7.2预测的评估124
3.7.3简单的实验126
3.8小结131
第4章深度神经网络133
4.1进入深度学习之前的准备133
4.2训练过程中的问题138
4.2.1梯度消失问题138
4.2.2过拟合问题141
4.3训练的高效化142
4.3.1激活函数143
4.3.1.1双曲正切函数143
4.3.1.2ReLU145
4.3.1.3Leaky ReLU147
4.3.1.4Parametric ReLU149
4.3.2Dropout152
4.4代码的设计157
4.4.1基本设计157
4.4.1.1使用TensorFlow的实现157
4.4.1.2使用Keras的实现160
4.4.1.3拓展对TensorFlow模型进行类封装161
4.4.2训练的可视化166
4.4.2.1使用TensorFlow的实现167
4.4.2.2使用Keras的实现172
4.5不错技术176
4.5.1数据的正则化与权重的初始化176
4.5.2学习率的设置179
4.5.2.1动量179
4.5.2.2Nesterov动量180
4.5.2.3Adagrad181
4.5.2.4Adadelta182
4.5.2.5RMSprop184
4.5.2.6Adam185
4.5.3早停法187
4.5.4Batch Normalization190
4.6小结195
第5章循环神经网络197
5.1基本概念197
5.1.1时间序列数据197
5.1.2过去的隐藏层199
5.1.3基于时间的反向传播算法202
5.1.4实现204
5.1.4.1准备时间序列数据205
5.1.4.2使用TensorFlow的实现207
5.1.4.3使用Keras的实现214
5.2LSTM215
5.2.1LSTM块215
5.2.2CEC、输入门和输出门217
5.2.2.1稳态误差217
5.2.2.2输入权重冲突和输出权重冲突219
5.2.3遗忘门220
5.2.4窥视孔连接222
5.2.5模型化223
5.2.6实现227
5.2.7长期依赖信息的训练评估——AddingProblem229
5.3GRU232
5.3.1模型化232
5.3.2实现233
5.4小结235
第6章循环神经网络的应用237
6.1双向循环神经网络237
6.1.1未来的隐藏层237
6.1.2前向、后向传播239
6.1.3MNIST的预测241
6.1.3.1转换为时间序列数据241
6.1.3.2使用TensorFlow的实现242
6.1.3.3使用Keras的实现245
6.2循环神经网络编码器-解码器246
6.2.1序列到序列模型246
6.2.2简单的问答系统247
6.2.2.1设置问题—加法的训练247
6.2.2.2数据的准备248
6.2.2.3使用TensorFlow的实现251
6.2.2.4使用Keras的实现260
6.3注意力模型261
6.3.1时间的权重261
6.3.2LSTM中的注意力机制263
6.4记忆网络265
6.4.1记忆外部化265
6.4.2应用于问答系统266
6.4.2.1bAbi任务266
6.4.2.2模型化267
6.4.3实现269
6.4.3.1数据的准备269
6.4.3.2使用TensorFlow的实现272
6.5小结276
附录279
A.1模型的保存和读取279
A.1.1使用TensorFlow时的处理279
A.1.2使用Keras时的处理284
A.2TensorBoard285
A.3tf.contrib.learn292