目 录
第Ⅰ部分 可扩展计算的基础
第壹章 可扩展计算的重要性 3
1.1 Dask的优势 4
1.2 有向无环图 9
1.3 横向扩展、并发和恢复 13
1.3.1 纵向扩展和横向扩展 14
1.3.2 并发和资源管理 16
1.3.3 从失败中恢复 17
1.4 本书使用的数据集 18
1.5 本章小结 19
第2章 Dask入门 21
2.1 DataFrame API初探 22
2.1.1 Dask对象的元数据 22
2.1.2 使用compute方法运行计算任务 25
2.1.3 使用persist简化复杂计算 27
2.2 DAG的可视化 28
2.2.1 使用Dask延迟对象查看DAG 28
2.2.2 带有循环和集合的复杂DAG的可视化 29
2.2.3 使用persist简化DAG 32
2.3 任务调度 35
2.3.1 延迟计算 35
2.3.2 数据本地化 36
2.4 本章小结 38
第II部分 使用Dask DataFrame处理结构化数据
第3章 介绍Dask DataFrame 41
3.1 为什么使用DataFrame 42
3.2 Dask和Pandas 43
3.2.1 管理DataFrame分区 45
3.2.2 “混洗”介绍 48
3.3 Dask DataFrame的局限性 49
3.4 本章小结 50
第4章 将数据读入DataFrame 53
4.1 从文本文件读取数据 54
4.1.1 Dask数据类型 59
4.1.2 为Dask DataFrame创建数据模式 61
4.2 从关系数据库中读取数据 65
4.3 从HDFS和S3中读取数据 68
4.4 读取Parquet格式的数据 72
4.5 本章小结 74
第5章 DataFrame的清理和转换 75
5.1 使用索引和轴 77
5.1.1 从DataFrame中选择列 77
5.1.2 从DataFrame中删除列 79
5.1.3 DataFrame中列的重命名 81
5.1.4 从DataFrame中选择行 81
5.2 处理缺失值 83
5.2.1 对DataFrame中的缺失值计数 83
5.2.2 删除含有缺失值
的列 85
5.2.3 填充缺失值 85
5.2.4 删除缺少数据的行 86
5.2.5 使用缺失值输入多个列 87
5.3 数据重编码 89
5.4 元素运算 93
5.5 过滤和重新索引DataFrame 95
5.6 DataFrame的连接 97
5.6.1 连接两个DataFrame 98
5.6.2 合并两个DataFrame 101
5.7 将数据写入文本文件和Parquet文件 103
5.7.1 写入含分隔符的文本文件 103
5.7.2 写入Parquet 文件 104
5.8 本章小结 105
第6章 聚合和分析DataFrame 107
6.1 描述性统计信息 108
6.1.1 什么是描述性统计信息 108
6.1.2 使用Dask计算描述性统计信息 110
6.1.3 使用describe方法进行描述性统计 114
6.2 内置的聚合函数 115
6.2.1 什么是相关性 115
6.2.2 计算Dask DataFrame的相关性 117
6.3 自定义聚合函数 121
6.3.1 使用t检验测试分类变量 121
6.3.2 使用自定义聚合函数来实现Brown-Forsythe检验 123
6.4 滚动(窗口)功能 134
6.4.1 为滚动函数准备数据 135
6.4.2 将rolling方法应用到一个窗口函数 136
6.5 本章小结 137
第7章 使用Seaborn对DataFrame进行可视化 139
7.1 prepare-reduce-collect-plot模式 141
7.2 可视化散点图与规则图的延伸关系 143
7.2.1 使用Dask和Seaborn创建散点图 143
7.2.2 在散点图中添加线性回归线 146
7.2.3 在散点图中添加非线性回归线 147
7.3 使用小提琴图可视化分类关系 149
7.3.1 使用Dask和Seaborn创建小提琴图 150
7.3.2 从Dask DataFrame随机采样数据 152
7.4 使用热图可视化两个分类关系 154
7.5 本章小结 157
第8章 用Datashader对位置数据可视化 159
8.1 什么是Datashader？它是如何工作的？ 160
8.1.1 Datashader渲染流程的五个阶段 161
8.1.2 使用Datashader进行可视化 165
8.2 将位置数据绘制为交互式热图 166
8.2.1 准备用于地图平铺的地理数据 166
8.2.2 创建交互式热图 167
8.3 本章小结 169
第III部分 扩展和部署Dask
第9章 使用Bag和Arrays 173
9.1 使用Bag读取和解析非结构化数据 175
9.1.1 从Bag中选择和查看数据 176
9.1.2 常见的解析错误和解决办法 176
9.1.3 使用分隔符 177
9.2 转换、过滤和合并元素 184
9.2.1 使用map函数转换元素 184
9.2.2 使用filter函数过滤Bag 186
9.2.3 计算Bag的描述统计量 189
9.2.4 使用foldby方法创建聚合函数 190
9.3 从Bag中创建Arrays和DataFrame 192
9.4 使用Bag和NLTK进行并行文本分析 193
9.4.1 二元分析的基础 194
9.4.2 提取token和过滤停顿词 194
9.4.3 分析二元组 198
9.5 本章小结 200
第壹0章 使用Dask-ML进行机器学习 201
10.1 使用Dask-ML建立线性模型 202
10.1.1 准备二进制向量化数据 204
10.1.2 使用Dask-ML建立Logistic回归模型 210
10.2 评估和调整Dask-ML模型 211
10.2.1 用计分法评估Dask-ML模型 211
10.2.2 使用Dask-ML构建朴贝叶斯分类器 212
10.2.3 自动调整超参数 213
10.3 持续的Dask-ML模型 215
10.4 本章小结 217
第壹1章 扩展和部署Dask 219
11.1 使用Docker在Amazon AWS上创建Dask集群 220
11.1.1 入门 221
11.1.2 生成安全密钥 222
11.1.3 创建ECS集群 224
11.1.4 配置集群的网络 227
11.1.5 在Elastic文件系统中创建共享数据驱动 231
11.1.6 在Elastic ContainerRepository中为Docker镜像分配空间 236
11.1.7 为调度器、工作节点和Notebook创建和部署镜像 237
11.1.8 连接到集群 244
11.2 在集群上运行和监视Dask作业 246
11.3 在AWS上清理Dask集群 250
11.4 本章小结 252
附录A 软件的安装 253
