强化学习/人工智能科学与技术丛书

基本信息

• 商品名称：强化学习/人工智能科学与技术丛书

• 作者：邹伟//鬲玲//刘昱杓|责编:刘星

• 定价：99

• 出版社：清华大学

• ISBN号：9787302538295

其他参考信息（以实物为准）

• 出版时间：2020-06-01

• 印刷时间：2020-06-01

• 版次：1

• 印次：1

• 开本：16开

• 包装：平装

• 页数：404

• 字数：577千字

编辑推荐语

\\\"为了让读者快速理解和应用强化学习技术，《强化学习》深入分析了相关算法的具体实现，由浅入深，循序渐进，内容丰富，易学实用。 《强化学习》作者具有丰富的行业实践经验，使得内容兼具理论性与实用性，不仅给出了算法的运行流程，还给出了该类算法的应用案例。书中列举了近20个强化学习算法案例，可以帮助读者快速提升自己的能力。 \\\"

内容提要

\\\"《强化学习》一书内容系统全面，覆盖面广，既有理论阐述、公式推导，又有丰富的典型案例，理论联系实际。书中全面系统地描述了强化学习的起源、背景和分类，各类强化学习算法的原理、实现方式以及各算法间的关系，为读者构建了一个完整的强化学习知识体系；同时包含丰富的经典案例，如各类迷宫寻宝、飞翔小鸟、扑克牌、小车爬山、倒立摆、钟摆、多臂赌博机、五子棋、AlphaGo、AlphaGo Zero、AlphaZero等，通过给出它们对应的详细案例说明和代码描述，让读者深度理解各类强化学习算法的精髓。《强化学习》案例生动形象，描述深入浅出，代码简洁易懂，注释详细。
    《强化学习》可作为高等院校计算机、自动化及相关专业的本科生或研究生教材，也可供对强化学习感兴趣的研究人员和工程技术人员阅读参考。\\\"

作者简介

\\\"邹伟  博士，睿客邦创始人，研究方向为机器学习、数据挖掘、计算几何，致力于机器学习和深度学习在实际中的应用；主持研发50多个人工智能领域工业级项目，并受邀在中国移动、花旗银行、中信集团、中航信、烽火科技、京东方、 世界等公司进行了上百场讲座和内部培训。创立的睿客邦与 十多所高校建立了AI联合实验室或实训基地；兼任天津大学创业导师、山东交通学院客座教授等。曾在多个在线平台讲授“机器学习”“深度学习”等课程，广受网友好评，累计学习人数超过百万。
  鬲玲  硕士，北京神舟航天软件公司知识工程团队负责人， 研发工程师。研究方向为知识工程、语义检索、强化学习、自然语言处理。作为牵头单位技术负责人参与并完成 科技支撑计划项目1项，863计划项目1项。有多年知识管理系统以及自然语言处理项目研发经验，目前正致力于垂直领域知识图谱的落地以及强化学习在自然语言处理领域的应用。
  刘昱杓  现供职于央视市场研究，深度学习、强化学习研发工程师，研究方向为计算机视觉。有多年深度学习视觉方向开发经验，参与了多个图像识别、目标检测、目标追踪等领域的落地项目。目前专注于深度强化学习方向的研究。
  \\\"

目录

目录


第1章强化学习概述

1.1强化学习的背景

1.2强化学习初探

1.2.1智能体和环境

1.2.2智能体主要组成

1.2.3强化学习、监督学习、非监督学习

1.2.4强化学习分类

1.2.5研究方法

1.2.6发展历程

1.3强化学习的重点概念

1.3.1学习与规划

1.3.2探索与利用

1.3.3预测与控制

1.4小结

1.5习题

第2章马尔可夫决策过程

2.1马尔可夫基本概念

2.1.1马尔可夫性

2.1.2马尔可夫过程

2.1.3马尔可夫决策过程

2.2贝尔曼方程

2.2.1贝尔曼期望方程

2.2.2贝尔曼 优方程


2.3 优策略

2.3.1 优策略定义

2.3.2求解 优策略

2.4小结

2.5习题

第3章动态规划

3.1动态规划简介

3.2策略评估

3.3策略改进

3.4策略迭代

3.5值迭代

3.6实例讲解

3.6.1“找宝藏”环境描述

3.6.2策略迭代

3.6.3值迭代

3.6.4实例小结

3.7小结

3.8习题





第4章蒙特卡罗

4.1蒙特卡罗简介

4.2蒙特卡罗评估

4.3蒙特卡罗控制

4.4在线策略蒙特卡罗

4.5离线策略蒙特卡罗

4.5.1重要性采样离线策略蒙特卡罗

4.5.2加权重要性采样离线策略蒙特卡罗

4.6实例讲解

4.6.1“十点半”游戏

4.6.2在线策略蒙特卡罗

4.6.3离线策略蒙特卡罗

4.6.4实例小结

4.7小结

4.8习题

第5章时序差分

5.1时序差分简介

5.2三种方法的性质对比

5.3Sarsa： 在线策略TD

5.4Qlearning： 离线策略TD方法

5.5实例讲解

5.5.1迷宫寻宝

5.5.2Sarsa方法

5.5.3Qlearning方法

5.5.4实例小结

5.6小结

5.7习题

第6章资格迹

6.1资格迹简介

6.2多步TD评估

6.3前向算法

6.4后向算法

6.5前向算法与后向算法的统一

6.6Sarsa(λ)方法

6.6.1前向Sarsa(λ)方法

6.6.2后向Sarsa(λ)方法

6.7Q (λ)方法

6.7.1前向Watkinss Q(λ)方法

6.7.2后向Watkinss Q(λ)方法

*6.7.3Pengs Q(λ)方法

6.8实例讲解

6.8.1风格子世界

6.8.2后向Sarsa(λ)

6.8.3后向Q(λ)

6.8.4实例小结

6.9小结

6.10习题

第7章值函数逼近

7.1值函数逼近简介

7.2线性逼近

7.2.1增量法

7.2.2批量法

7.3非线性逼近

7.3.1DQN方法

7.3.2Double DQN方法

7.3.3Dueling DQN方法

7.4实例讲解

7.4.1游戏简介

7.4.2环境描述

7.4.3算法详情

7.4.4核心代码

7.5小结

7.6习题

第8章随机策略梯度

8.1随机策略梯度简介

8.1.1策略梯度优缺点

8.1.2策略梯度方法分类

8.2随机策略梯度定理及证明

8.2.1随机策略梯度定理

*8.2.2随机策略梯度定理证明

8.3蒙特卡罗策略梯度

8.3.1REINFORCE方法

8.3.2带基线的REINFORCE方法

8.4TRPO方法

8.5实例讲解

8.5.1游戏简介及环境描述

8.5.2算法详情

8.5.3核心代码

8.6小结

8.7习题

第9章ActorCritic及变种

9.1AC方法

9.1.1在线策略AC方法

9.1.2离线策略AC方法

9.1.3兼容性近似函数定理

9.2A2C方法

9.3A3C方法

9.3.1简介

9.3.2异步Qlearning方法

9.3.3异步Sarsa方法

9.3.4异步n步Qlearning方法

9.3.5A3C方法详述

9.4实例讲解

9.4.1AC实例

9.4.2A3C实例

9.5小结

9.6习题

0章确定性策略梯度

10.1确定性策略梯度及证明

10.1.1确定性策略梯度定理

*10.1.2确定性策略梯度定理证明

10.2DPG方法

10.2.1在线策略确定性AC方法

10.2.2离线策略确定性AC

10.2.3兼容性近似函数定理

10.3DDPG方法

10.3.1DDPG简介

10.3.2算法要点

10.3.3算法流程

10.4实例讲解

10.4.1游戏简介及环境描述

10.4.2算法详情

10.4.3核心代码

10.5小结

10.6习题

1章学习与规划

11.1有模型方法和无模型方法

11.2模型拟合

11.2.1模型数学表示

11.2.2监督式学习构建模型

11.2.3利用模型进行规划


11.3Dyna框架及相关算法

11.3.1DynaQ

11.3.2DynaQ+

11.3.3优先级扫描的DynaQ

11.4Dyna2

11.5实例讲解

11.5.1游戏简介及环境描述

11.5.2算法详情

11.5.3核心代码

11.6小结

11.7习题

2章探索与利用

12.1探索利用困境

12.2多臂赌博机问题

12.3朴素探索

12.4乐观初始值估计

12.5置信区间上界

12.6概率匹配

12.7信息价值

12.8实例讲解

12.8.1游戏简介及环境描述

12.8.2算法详情

12.8.3核心代码

12.9小结

12.10习题

3章博弈强化学习

13.1博弈及博弈树

13.2极大极小搜索

13.3AlphaBeta搜索

13.4蒙特卡罗树搜索

13.5AlphaGo

13.5.1监督学习策略网络pσ

13.5.2快速走子策略网络pπ

13.5.3强化学习策略网络pρ

13.5.4价值网络vθ

13.5.5蒙特卡罗树搜索

13.5.6总结

13.6AlphaGo Zero

13.6.1下棋原理

13.6.2网络结构

13.6.3蒙特卡罗树搜索

13.6.4总结

13.7AlphaZero

13.8实例讲解

13.8.1游戏简介及环境描述

13.8.2算法流程描述

13.8.3算法细节

13.8.4核心代码

13.9小结

13.10习题

参考文献