模型思维简化世界的人工智能模型

●篇模型为什么这么神奇
章为什么要建立模型2
1.1什么是模型2
1.2无处不在的模型4
1.3模型的意义4
1.3.1万有引力定律4
1.3.2大陆漂移假说5
1.3.3日心说5
1.4模型都是对的吗6
1.4.1模型可以是错的6
1.4.2模型可以是未被证实的7
1.4.3模型可以是互相矛盾的7
1.5什么模型是好模型8
1.5.1表示客观事物的能力8
1.5.2简化客观事物的能力9
1.5.3评价模型好坏的模型9
1.6模型的演化9
1.7正确看待模型的价值与缺陷10
1.7.1正确看待模型的局限性10
1.7.2用历史的观点看模型10
1.7.3抛弃对模型的阶级观点11
1.7.4用发展的观点看模型11
1.8本书的特点12
1.8.1对读者的基础要求12
1.8.2从场景出发讲模型12
1.8.3从方的视角讲模型13
1.8.4用类比的技巧讲模型13
1.8.5避免读者被数学公式吓倒13
1.8.6避免“知识的诅咒”14
1.9本书主要内容14
1.9.1权重模型15
1.9.2状态模型15
1.9.3序列模型15
1.9.4表示模型16
1.9.5相似模型16
1.9.6分类模型16
第2章模型的运用18
2.1用知识图谱表示问题18
2.1.1知识图谱的基本理念18
2.1.2建立知识图谱的一般步骤19
2.1.3问题的属性研究19
2.1.4问题的关系研究20
2.2问题分析的示例20
2.2.1前提假设分析20
2.2.2已有数据的分析21
2.2.3待求数据的分析21
2.2.4关系分析21
2.3权重问题的判断22
2.4状态问题的判断24
2.5序列问题的判断25
2.6表示问题的判断25
2.7相似问题的判断26
2.8分类问题的判断26
2.9模型之间的关系27
第2篇权重模型：计算你的分量
第3章TF-IDF模型33
3.1应用场景33
3.2词频率―逆文档频率模型的计算34
3.2.1词频率模型34
3.2.2逆文档频率模型37
3.2.3TF-IDF模型39
3.3词权重模型的平滑40
3.4引申阅读40
3.4.1发明历史41
3.4.2发明人简介41
3.4.3新研究42
3.5本章总结42
第4章线性回归模型43
4.1应用场景43
4.2直观理解回归问题44
4.3一元线性回归问题45
4.3.1钢轨长度与温度的关系直线45
4.3.2判断合适直线的原则47
4.3.3小二乘法50
4.4多元线性回归问题52
4.5标准方程法53
4.5.1一些符号定义53
4.5.2矩阵表示54
4.5.3参数求解55
4.5.4用标准方程法计算银行授信额度58
4.6梯度下降法60
4.6.1梯度下降法的直观理解60
4.6.2坡度陡下山法63
4.6.3坡度陡下山法的类比
4.梯度下降法的计算66
4.6.5银行授信额度的计算67
4.7梯度下降法与标准方程法的区别68
4.8引申阅读69
4.8.1小二乘法的发明69
4.8.2梯度下降法的发明69
4.8.3新研究69
4.9本章总结71
第5章PageRank模型73
5.1应用场景73
5.2PageRank的直观算法74
5.2.1PageRank模型的直观理解75
5.2.2模型的初始化77
5.2.3模型的迭代79
5.3直观算法的漏洞修复81
5.3.1非连通漏洞81
5.3.2过河拆桥型漏洞82
5.3.3孤芳自赏型漏洞85
5.3.4过分谦虚型漏洞85
5.3.5随机游走模型86
5.4PageRank模型的计算88
5.4.1链接关系表88
5.4.2链接浏览矩阵88
5.4.3直接浏览矩阵89
5.4.4状态转移矩阵89
5.4.5迭代计算90
5.4.6计算示例91
5.5引申阅读92
5.5.1收敛性证明93
5.5.2发明历史94
5.5.3发明人简介94
5.5.4相关研究95
5.6本章总结95
第3篇状态模型：加官进爵的模型
第6章有限状态自动机模型100
6.1应用场景100
6.1.1Java词法分析100
6.1.2Java词法分析示例101
6.2直观理解与形式化描述103
6.2.1自动机模型的直观理解103
6.2.2形式化描述105
词法分析自动机模型105
.1注释识别自动机105
.2保留字识别自动机107
6.5地址解析自动机模型108
6.5.1地址解析场景概述108
6.5.2地址解析的难度109
6.5.3标准地址库建设110
6.5.4地址识别自动机模型111
6.6引申阅读113
6.6.1发明历史113
6.6.2发明人简介114
6.6.3新研究114
6.7本章总结115
第7章模式匹配自动机模型116
7.1应用场景116
7.2形式化描述118
7.3BF模式匹配算法118
7.3.1BF算法的直观理解118
7.3.2BF算法的匹配过程示例119
7.3.3BF算法的伪码表示121
7.3.4BF算法的自动机模型121
7.4RK模式匹配算法122
7.5KMP模式匹配算法123
7.5.1KMP算法的直观理解123
7.5.2KMP算法的匹配过程示例125
7.5.3移动长度的计算127
7.5.4KMP算法的自动机模型129
7.5.5KMP算法的总结129
7.6BM模式匹配算法129
7.6.1后向BF算法130
7.6.2实现跳跃式匹配131
7.6.3基于坏字符的模式匹配过程132
7.坏字符匹配算法的缺陷137
7.6.5好后缀的匹配规则138
7.6.6BM模式匹配算法介绍141
7.6.7BM算法的自动机模型143
7.7AC模式匹配算法143
7.7.1TRIE树的使用144
7.7.2TRIE树的构建145
7.7.3失效指针的直观理解146
7.7.4失效指针的设置示例147
7.7.5失效指针的设置算法150
7.7.6AC算法的匹配过程示例152
7.8Wu-Manber模式匹配算法153
7.8.1Wu-Manber算法的直观理解153
7.8.2Wu-Manber算法的总体思路155
7.8.3字符块156
7.8.4后移长度数组157
7.8.5字符块的哈希值159
7.8.6倒排链表159
7.8.7前缀哈希值160
7.8.8Wu-Manber算法的匹配过程示例161
7.9引申阅读163
7.10本章总结166
第4篇序列模型：揭示现象背后的规律
第8章隐马尔可夫模型170
8.1应用场景171
8.2马尔可夫链171
8.3隐马尔可夫模型的定义173
8.3.1直观定义173
8.3.2形式化定义174
8.3.3盲人与苔藓的例子174
8.4假设176
8.4.1齐次马尔可夫假设176
8.4.2观察独立性假设176
8.5评估问题177
8.5.1评估问题的应用价值177
8.5.2暴力求解法178
8.5.3前向算法179
8.5.4前向算法的形式化描述185
8.5.5前向算法的算法描述186
8.5.6后向算法187
8.6解码问题190
8.6.1暴力求解法190
8.6.2维特比算法190
8.6.3维特比算法的形式化描述197
8.7学习问题198
8.7.1监督学习199
8.7.2非监督学习201
8.7.3一个更简单的EM算法例子202
8.7.4更好一点的算法205
8.7.5直观方法206
8.7.6Baum-Welch算法207
8.7.7Baum-Welch算法的伪码描述212
8.8引申阅读213
8.8.1发明人简介213
8.8.2新研究214
8.9本章总结215
第9章大熵模型216
9.1应用场景216
9.1.1语义消歧216
9.1.2音字转换217
9.1.3其他常见场景217
9.2直观理解大熵217
9.2.1熵增加原理217
9.2.2熵的定义218
9.2.3不要把鸡蛋放在同一个篮子里219
9.2.4不要随意添加主观假设219
9.3简单的大熵计算示例220
9.3.1方程组求解220
9.3.2大熵化221
9.3.3拉格朗日乘子法221
9.3.4骰子的概率计算223
9.3.5计算复杂度分析225
9.4形式化定义226
9.4.1经验分布226
9.4.2特征函数227
9.4.3特征模板228
9.4.4约束条件及其期望228
9.4.5条件熵230
9.4.6大熵的定义230
9.5大熵模型的计算流程231
9.5.1模型训练231
9.5.2模型执行232
9.6平滑方法232
9.6.1拉普拉斯平滑233
9.6.2古德―图灵平滑235
9.6.3Jelinek-Mercer平滑238
9.Katz平滑239
9.6.5绝对折扣平滑240
9.6.6Witten-Bell平滑241
9.6.7Kneser-Ney平滑242
9.6.8各种平滑方法的演化关系243
9.7特征选择244
9.7.1基于阈值的特征选择245
9.7.2增量式特征选择245
9.8参数计算245
9.8.1参数计算的形式化246
9.8.2参数的数值计算248
9.9引申阅读250
9.10本章总结250
第5篇表示模型：万事万物的表示
0章向量空间模型255
10.1应用场景255
10.2之前的文本表示方法256
10.3向量空间模型257
10.3.1文档的词袋化257
10.3.2文档的向量化258
10.3.3词项的权重计算260
10.4相似度计算262
10.5引申阅读263
10.5.1发明人介绍263
10.5.2新研究263
10.6本章总结2
1章潜在语义分析模型265
11.1应用场景265
11.2LSA模型的计算267
11.2.1词―文档矩阵267
11.2.2奇异值分解269
11.2.3降维处理271
11.3结果的解读274
11.3.13个矩阵的物理含义274
11.3.2实验结果解读274
11.4为什么LSA模型有效276
11.5LSA模型的应用277
11.5.1识别同义词和近义词277
11.5.2文档的聚类和分类279
11.5.3跨语言语义检索280
11.6LSA模型的不足281
11.7引申阅读282
11.7.1发明人介绍282
11.7.2新研究282
11.8本章总结283
第6篇相似模型：谁与我臭味相投
2章相似模型287
12.1欧几里得距离287
12.2曼哈顿距离288
12.3切比雪夫距离291
12.4闵可夫斯基距离292
12.5马哈拉诺比斯距离292
12.5.1用欧氏距离计算身材相似度292
12.5.2欧氏距离失效的原因293
12.5.3引入原因294
12.5.4方差与协方差294
12.5.5马氏距离的定义297
12.5.6马氏距离为什么有效298
12.6皮尔逊相关系数298
12.7Jaccard相关系数299
12.8余弦相似度301
12.9汉明距离303
12.10KL散度304
12.11海林格距离306
12.12编辑距离306
12.13本章总结311
第7篇分类模型：物以类聚，人以群分
3章感知机模型315
13.1应用场景315
13.2神经元的工作原理317
13.3感知机模型的原理320
13.3.1感知机模型的数学表示320
13.3.2感知机模型的分类原理320
13.3.3距离的计算323
13.3.4代价函数323
13.4参数训练324
13.4.1梯度下降法324
13.4.2计算示例325
13.5引申阅读326
13.5.1发明历史326
13.5.2新研究327
13.5.3与其他模型的关系327
13.6本章总结328
4章逻辑回归模型329
14.1应用场景329
14.2直观理解逻辑回归模型330
14.2.1逻辑回归的目标模型330
14.2.2逻辑回归模型的工作原理332
14.3逻辑回归模型的计算333
14.3.1相关符号表示333
14.3.2代价函数334
14.3.3梯度下降法335
14.4引申阅读336
14.4.1发明人简介336
14.4.2发明历史336
14.4.3新研究337
14.5本章总结338
5章朴素贝叶斯模型339
15.1应用场景339
15.2先验概率和后验概率340
15.3贝叶斯公式341
15.3.1全概率公式341
15.3.2逆概率公式342
15.4独立假设343
15.5文本分类的案例344
15.5.1训练样本介绍345
15.5.2词典与先验概率345
15.5.3直接使用贝叶斯公式346
15.5.4拉普拉斯平滑347
15.6引申阅读349
15.7本章总结349
6章决策树模型350
16.1应用场景350
16.2决策树模型的直观理解351
16.2.1猜数字的游戏351
16.2.2猜动物的游戏352
16.2.3决策树模型要解决的问题354
16.3佳决策树354
16.3.1蛮力的方法355
16.3.2从数据中领悟审批原则355
16.3.3什么是好问题356
1信息量的计算357
1.1信息熵的定义357
1.2熵的计算示例358
1.3熵的单位359
16.5信息增益与ID3算法359
16.5.1条件熵的定义360
16.5.2信息增益的计算360
16.5.3使用信息增益选择特征361
16.5.4ID3算法3
16.6信息增益比与C4.5算法3
16.6.1信息增益比的定义3
16.6.2计算示例365
16.6.3C4.5算法365
16.7基尼系数与CART算法366
16.7.1基尼系数定义367
16.7.2基尼系数计算示例368
16.7.3CART分类树算法372
16.7.4CART回归树373
16.8引申阅读375
16.8.1发明历史375
16.8.2新研究377
16.9本章总结377
7章支持向量机模型378
17.1应用场景378
17.2一元支持向量机379
17.3二元支持向量机383
17.3.1实例场景描述383
17.3.2佳分类面384
17.3.3佳分类直线的函数形式385
17.3.4分类间隔的计算387
17.3.5大化问题的数学表示388
17.3.6拉格朗日乘子法389
17.4支持向量机的对偶问题391
17.4.1SVM模型的数学描述391
17.4.2SVM模型的对偶问题392
17.5支持向量机的参数求解396
17.5.1SMO算法的形式描述396
17.5.2SMO算法的整体思路397
17.5.3参数更新过程399
17.5.4乘子的启发式选择401
17.6引申阅读402
17.6.1发明历史402
17.6.2发明人简介403
17.6.3新研究403
17.7本章总结404