基于python的web大数据爬取实战指南

　　《基于python的web大数据爬取实战指南》主要研究基于Python的Web大数据爬取，采用Python语言实现。《基于python的web大数据爬取实战指南》贯穿各种爬虫算法与案例进行讲解，是一本典型的实战指南。内容涵盖基础知识和数据爬取两大部分，涉及网络爬虫入门、Python基础、HTML基础、正则表达式、Selenium技术、网页自动登录和数据库存储等知识。《基于python的web大数据爬取实战指南》结合实例详细讲解了Python网络爬虫的各种技术，抓取在线百科、技术博客、新浪微博、游迅网、生物医学网等的信息，构思合理，从基础知识到案例代码，由浅入深地将知识分享给读者。《基于python的web大数据爬取实战指南》符合国家大数据发展战略，有利于推动各地区的大数据发展，为底层大数据挖掘技术做出贡献。

目录
第一部分 基础知识
第1章 概述 3
1.1 Web大数据爬取 3
1.2 各章概要 5
1.3 如何阅读本书 6
第2章 Python基础知识 8
2.1 Python语言简介 8
2.2 Python安装过程 9
2.3 Python基础知识 14
2.4 条件语句和循环语句 29
2.5 字符串操作 37
2.6 文件操作 43
2.7 局部变量、全局变量与导入块变量 48
2.8 多线程编程 52
第3章 HTML基础知识及DOM树结构 56
3.1 浏览器显示HTML源代码 58
3.2 HTML语法规则 61
3.3 HTML DOM树型结构 71
3.4 XPath技术 74
第4章 XML基础知识 76
4.1 基础知识 76
4.2 XML文档示例 78
4.3 XML语法规则 81
4.4 XML基本用法 84
4.5 Python处理XML数据 89
第二部分 基于Python的数据爬取
第5章 Python网页爬虫的相关介绍 97
5.1 概述 97
5.2 正则表达式 98
5.3 Selenium 99
5.4 BeautifuISoup 100
5.5 Scrapy 100
5.6 数据存储技术 104
第6章 基于正则表达式的Web爬虫 107
6.1 正则表达式 107
6.2 常用的网页爬取正则表达式 117
6.3 Python爬虫常用函数 128
6.4 案例分析1：使用正则表达式获取新浪博客文章 141
6.5 案例分析2：使用正则表达式爬取百科知识 147
第7章 基于Selenium的Web爬虫 162
7.1 Selenium安装过程 163
7.2 Selenium常见元素定位方法和操作 170
7.3 案例分析1：Selenium爬取百科知识 182
7.4 案例分析2：Selenium爬取PubMed生物医学摘要信息 186
7.5 案例分析3：Selenium爬取图片 193
第8章 基于Selenium的自动登录爬虫 201
8.1 Python自动登录技术 201
8.2 新浪微博介绍 206
8.3 案例分析1：Selenium自动登录163邮箱 209
8.4 案例分析2：Selenium自动登录爬取新浪微博知识 213
第9章 基于BeautifuISoup的Web爬虫 228
9.1 概述及安装 228
9.2 BeautifuISoup具体用法 231
第10章 数据库存储技术 244
10.1 数据库存储的基本技术 244
10.2 MySQL数据库知识 245
10.3 Python数据库知识 253
10.4 案例分析：Selenium爬取数据并存储至数据库中 262