速通机器学习

通过14个轻松有趣的专题，帮助初学者掌握机器学习的相关概念，帮助求职者快速梳理和回顾机器学习知识。

本书从传统的机器学习，如线性回归、逻辑回归、朴素贝叶斯、支持向量机、集成学习，到前沿的深度学习和神经网络，如DNN、CNN、BERT、ResNet等，对人工智能技术进行零基础讲解，内容涵盖数学原理、公式推导、图表展示、企业应用案例。

本书面向初中级读者，能帮助读者迅速掌握机器学习技术的相关概念及原理。本书内容结合作者多年的科研工作经验，理论和实践并重，对科研、学习、面试等均有帮助。

卢菁

北京科技大学博士，北京大学博士后流动站出站。工作于腾讯、爱奇艺等知名互联网公司，主要从事人工智能技术的应用和研发工作。主要研究方向为机器学习、自然语言处理、知识图谱、推荐系统等，有丰富的理论和实践经验。

正如本书的书名“速通机器学习”，本书能让读者放下对数学基础不足的担忧，快速对机器学习的基础技术和应用进行全景式的理解。作者从互联网实践应用的角度，对枯燥的理论进行了深入浅出的讲解，让读者在了解理论背景的同时掌握实际业务场景中的应用方法。
刘俊晖 爱奇艺AI高级总监

本书适合数学基础薄弱的读者快速入门机器学习——复杂的人工智能技术被作者描述得通俗易懂。同时，本书结合企业中的真实案例，带领读者一览企业人工智能开发的真实场景，对正在求职的读者大有裨益。
马士兵 马士兵教育创始人

本书写得通俗易懂，没有过于复杂的公式，非常适合数学基础薄弱的同学快速入门机器学习。本书内容贴合实际工作，很多企业中的真实例子可以作为就业面试辅导和项目技术参考。
肖阳 百度副总裁

本书的作者卢菁是我的老同学。本书介绍了业内广泛使用的机器学习算法和模型，既包含核心概念、算法原理、行业应用等方面的详尽介绍，也包含作者多年的实践经验总结。本书内容深入浅出、清晰透彻，相信有志于人工智能领域的从业者都能从中获益。
贺海波 网易传媒技术副总经理

这是一本非常适合读者快速入门的机器学习教程，适合普通人修炼。作者用通俗易懂的语言，结合很多真实的案例进行讲解——就像大学课程的讲义一样。推荐希望快速了解机器学理论和实践的技术和产品人员阅读。
王栋 小米互联网业务部副总经理兼电视与视频业务部总经理

第1章　数据的量化和特征提取 1
1.1　机器学习概述 1
1.2　特征提取 2
1.3　向量距离计算 6
第2章　线性回归 12
2.1　线性回归的基本概念 13
2.2　损失函数和梯度下降法 14
2.3　训练集和测试集 19
2.4　多项式回归 21
2.5　线性回归的高级技巧 23
2.5.1　特征敏感性研究 23
2.5.2　损失函数的选择 24
第3章　逻辑回归 27
3.1　逻辑回归的基本原理 28
3.2　交叉熵和KL距离 32
3.2.1　KL距离 32
3.2.2　梯度下降法 34
3.2.3　上采样和下采样 36
3.3　线性不可分及其解决方案 38
3.4　L1正则和L2正则 39
3.5　分类模型的评价标准 43
3.6　逻辑回归的特征提升技巧 47
3.6.1　特征归一化 47
3.6.2　特征分段 49
3.7　深入理解损失函数和逻辑函数 51
第4章　因子分解模型 55
4.1　基本原理和特征交叉 55
4.1.1　基本原理 55
4.1.2　特征交叉简化 58
4.1.3　参数学习 59
4.2　因子分解模型和矩阵分解 61
第5章　经典分类模型 63
5.1　支持向量机 63
5.1.1　支持向量机的基本原理 63
5.1.2　支持向量机和逻辑回归的比较 68
5.2　核方法 70
5.2.1　核函数 70
5.2.2　核函数在支持向量机中的应用 72
5.3　朴素贝叶斯 73
5.3.1　朴素贝叶斯原理 73
5.3.2　朴素贝叶斯的参数估计 76
5.4　维数灾难 78
5.5　奥卡姆剃刀定律的应用 82
5.6　经验风险、期望风险和结构风险 83
第6章　无监督学习 85
6.1　K-Means聚类 86
6.1.1　K-Means算法的基本原理 86
6.1.2　改进型K-Means算法 88
6.1.3　K-Means算法和逻辑回归的结合应用 91
6.2　主题模型 92
6.2.1　LDA模型的原理 93
6.2.2　LDA模型的训练 95
第7章　集成学习 100
7.1　决策树 100
7.2　随机森林 105
7.3　GBDT 108
第8章　深度神经网络 113
8.1　BP神经网络的基本原理 113
8.2　多分类与Softmax函数 118
8.3　梯度下降法和链式法则 120
8.4　度量学习 125
第9章　神经网络调优 130
9.1　激活函数选型 131
9.2　权重初始化 135
9.3　改进型梯度下降法 137
9.3.1　随机梯度下降法 138
9.3.2　鞍点问题 141
9.3.3　梯度下降法的优化 142
9.4　过拟合解决方案 145
9.4.1　正则化 145
9.4.2　Dropout 146
9.4.3　提前终止 147
9.4.4　批标准化和层标准化 148
9.4.5　Shortcut 151
9.4.6　标签平滑 151
9.4.7　人工制造数据 152
第10章　自然语言处理 154
10.1　自然语言处理模型 154
10.2　one-hot编码和embedding技术 156
10.3　哈夫曼树和负采样 161
10.3.1　哈夫曼树 161
10.3.2　负采样 163
10.4　Word2vec的应用 165
10.5　fastText模型的原理及应用 166
第11章　卷积神经网络 169
11.1　卷积层和池化层 169
11.2　卷积神经网络在图像处理中的应用 177
11.3　卷积神经网络中的批标准化 179
11.4　TextCNN的原理及应用 180
第12章　深入卷积层 185
12.1　1 × 1卷积 185
12.2　小尺寸卷积 186
12.3　宽度卷积和Inception 187
12.4　Depthwise卷积和Pointwise卷积 189
12.5　特征通道加权卷积 193
第13章　循环神经网络和LSTM模型 196
13.1　循环神经网络模型详解 196
13.1.1　循环神经网络的基本原理 196
13.1.2　循环神经网络存在的一些问题 199
13.2　LSTM模型详解 202
13.3　LSTM模型的改进和应用 206
13.4　CTC算法 208
第14章　Attention模型和Transformer模型 210
14.1　Attention模型详解 210
14.1.1　注意力机制的基本原理 210
14.1.2　Attention模型概述 212
14.1.3　Attention模型的改进形式 214
14.1.4　Self-Attention模型 215
14.1.5　Multi-Head Attention模型 217
14.2　Transformer模型原理 219
14.3　BERT模型及应用 221

序

机器学习是人工智能领域最活跃的分支之一，作为多学科交叉的重要工具，为计算机领域解决实际学习问题提供了理论支撑与应用算法。近年来，机器学习在互联网应用中崭露头角，计算机视觉、自然语言处理、推荐系统、搜索系统等积累了大量的数据和丰富的场景，促进了包括机器学习在内的诸学科的发展与繁荣。与此同时，机器学习的快速发展，也让我们切实领略了人工智能给人类生活带来各种改变的潜力。
这是一本涵盖机器学习现有重要领域和关键算法的读物，主要面向人工智能、机器学习、模式识别、数据挖掘、计算机应用、数学和统计学等领域的研究生和相关技术人员。这本书为我们介绍了经典机器学习、深度学习的常见模型，涉及领域包括图像处理、自然语言处理、推荐系统等。
不同于侧重理论的机器学习读物，本书作者摒弃了复杂烦琐的数学公式和理论推导，转而采用对各类知识点给出应用实例和绘制图表等方式进行讲解。同时，书中蕴含了作者对机器学习理论及各类模型的内在关系的理解与思考，并通过细致的对比和说明，透彻地讲述了不同概念之间的传承与发展，使读者可以快速领略机器学习的精髓并掌握一定的自学能力。
本书作者勤于思考、关注技术发展，在工作中积累了丰富的机器学习实战经验，这些经验正是本书的灵感和和创意来源。难能可贵的是，书中的大量示例均源于作者亲身参与的项目，对读者具有借鉴意义，这也是本书的亮点之一。特此推荐。

中国科学院院士 樊文飞

前言

近十年移动互联网的蓬勃发展，催生出了无数优秀的企业和现象级的产品，这些产品拥有庞大的用户群，且每时每刻都在产生海量的数据。随着数据的积累，人们开始思考如何从这些数据中获得更好的产品服务、实现更高的商业价值。
机器学习作为一项新兴技术，可以对文本、图像、语音、行为等数据进行分析，探寻数据背后的规律，并根据这些规律对未来进行预测。不少新兴公司将机器学习技术与海量的数据结合起来，开发出大量的新产品（例如短视频推荐、图片美化、在线教育等），并取得了巨大的成功。毫不夸张地说，这些成功只是机器学习舞台的序章，未来会有更加丰富的场景等待被机器学习赋能。
本书内容
与其他计算机技术相比，机器学习涉及的数学知识，特别是微积分和统计学知识比较多，并且有一定的入行门槛，对初入此领域的人来说不是那么友好。而国内现阶段的一些相关书籍，要么过于学术化、语言深奥、包含大量数学公式，让人望而却步，要么是编程技术手册，缺少对原理的讲解和对技术的深入分析。虽然互联网上有不少学习资料，但过于零散、系统性不足，不利于初学者建立知识体系。基于此现状，笔者萌生了写一本面向初学者的机器学习图书的想法，经过近两年的努力，终于完成了这项并不轻松的“工程”。
本书有以下特色：面向初学者，语言通俗易懂，没有过于学术化的表述；对各类机器学习技术背后的原理进行了深入的分析，同时涉及很多相关岗位的面试要点，可作为面试参考书阅读；结合笔者在实际工作中遇到的问题，讨论了很多可落地的和具有实用性的技术创新思路，涉及的知识点可以给读者的工作带来启发。
鉴于笔者的精力和能力有限，书中难免会有纰漏，望同行和读者指正。
读者服务
如果您在阅读本书的过程中有任何疑问，都可以发送电子邮件至lu_0819@163.com，与笔者共同探讨。
您可以访问B站“皮蛋爸爸卢菁”的个人空间，观看人工智能技术相关视频。
您也可以扫描本书封底的二维码并发送“41187”，关注博文视点微信客服号，获取更多人工智能图书信息及相关资源等。

卢 菁
2021年3月