物联网之云：云平台搭建与大数据处理

1. 百度外卖首席架构师、神州数码云计总监力荐；

2. 国内物联网工程学科的奠基性作品；

3. 一线物联网工程师和高校教学人员参与创作，阵容强大；

4. 实用性强，注重教学的同时，非常注重物联网工程实践；

5. 国内较早的与雾计算技术相关的图书。

“物联网工程实战丛书”是由山东大学信息科学与工程学院高级工程师曾凡太策划，并组织国内物联网领域的一线研发工程师和高校教研人员编写的系列作品。丛书系统地介绍了物联网的各种开发工具、设计语言、研发平台和工程案例等内容，勾勒出了物联网工程的学科结构及其专业必修课的范畴，充分体现了工程专业“理论扎实，操作见长”的学科特色，可为相关院校的物联网工程课程设置提供参考，并对工业、农业、商贸、物流、交通和医疗等行业的物联网工程应用指明方向。

丛书全面、系统地阐述了物联网理论基础、电路设计、专用芯片设计、物联网协议、物联网操作系统、云服务平台构建、智能硬件设计、物联网工程实践和智慧城市建设等内容，勾勒出了物联网工程的学科结构及其专业必修课的范畴，可以为相关院校的物联网工程课程设置提供参考。

丛书从硬件电路、芯片设计、软件开发、协议转换，到智能硬件研发（小项目）和智慧城市建设（大工程）等内容，都用了大量篇幅进行阐述。丛书系统地介绍了各种开发工具、设计语言、研发平台和工程案列等内容。充分体现了工程专业“理论扎实，操作见长”的学科特色，并对工业、农业、商贸、物流、交通和医疗等行业的物联网工程应用指明了方向。

丛书推出以下6卷：

《物联网之源：信息物理与信息感知基础》

《物联网之芯：传感器件与通信芯片设计》

《物联网之魂：物联网协议与物联网操作系统》

《物联网之云：云平台搭建与大数据处理》

《物联网之雾：基于雾计算的智能硬件快速反应与安全控制》

《物联网之智：智能硬件开发与智慧城市建设》

本书为“物联网工程实战丛书”第4卷。本书阐述了云计算的基本概念、工作原理和信息处理流程，详细讲述了云计算的数学基础及大数据处理方法，并给出了云计算和雾计算的项目研发流程，展望了云计算的发展前景。

本书共10章。第1章介绍了物联网数据分析中的一些数学基础、概率论和数理统计方法，以及分布式计算、网格计算和云计算方法，及其在物联网中的应用；第2章给出了云计算的概念和原理，并针对云计算的一些技术和体系架构做了详细介绍；第3、4章阐述了云计算平台的建设，重点阐述了PaaS平台的搭建流程及其针对智慧城市和垂直行业的云平台搭建实战；第5、6章阐述了大数据概念及大数据处理的常见数学方法；第7章阐述了物联网云计算安全问题；第8章阐述了应对物联网安全而产生的私有云平台搭建方法；第9章阐述了应对云计算信息延迟和网络堵塞而产生的雾计算方法和产业发展展望；第10章总结了物联网云计算发展的现状，展望了云计算的发展趋势。

本书适合作为高等院校相关物联网工程、通信工程、网络工程和计算机等专业的本科生和研究生的教材，也适合从事物联网云计算和雾计算的研发工程师及物联网技术研究人员阅读，而且还适合作为智慧城市建设等政府管理部门相关人员的参考读物。

王见，毕业于山东大学。物联网项目经理、资深研发工程师。曾就职于华为技术公司，有9年的底层软件开发经验和系统架构经验，并在项目经理岗位上积累了丰富的团队建设经验。现就职于浪潮电子信息产业股份有限公司。

赵帅，毕业于沈阳航空航天大学。资深网络设备研发工程师，从事Android平板电脑系统嵌入式驱动层和应用层的开发工作。曾经在语音网关研发中改进了DSP中的语音编解码及回声抵消算法。现就职于浪潮电子信息产业股份有限公司。

曾鸣，毕业于山东大学信息学院，获硕士学位。资深网络软件开发工程师，精通多种网络编程语言。曾就职于山东大学微电子学院，从事教学科研管理工作。目前在山东大学微电子学院攻读博士学位，研究方向为电路与系统。

孙昊，毕业于山东大学控制工程学院，获工学硕士学位。网络设备资深研发工程师。曾就职于华为技术公司，负责操作系统软件的架构设计，并担任C语言和Lua语言讲师。申请多项ISSU技术专利。现就职于浪潮电子信息产业股份有限公司，负责软件架构设计工作。

曾凡太，山东大学信息科学与工程学院高级工程师。已经出版“EDA工程丛书”（共五卷，清华大学出版社出版）、《现代电子设计教程》（高等教育出版社出版）、《PCI总线与多媒体计算机》（电子工业出版社出版）等书，发表论文数十篇，申请发明专利4项。

丛书序

序言一

序言二

第1章云计算数学基础1

1.1概率论1

1.2数理统计基础6

1.3分布式计算介绍12

1.4网格计算介绍14

1.5云计算介绍16

1.6本章小结20

1.7习题20

第2章云计算方法21

2.1云计算的发展历程21

2.2计算资源使用模式22

2.3云计算原理23

2.4云计算技术与云服务模式38

2.5本章小结41

2.6习题41

第3章PaaS云平台基础42

3.1云平台的概念及模型42

3.2弹性计算平台47

3.3智能监控运维平台52

3.4物联网智能硬件开发平台54

3.5本章小结57

3.6习题57

第4章云平台搭建实战58

4.1云平台的基础建设58

4.2智慧校园云平台搭建63

4.3智慧城市云平台搭建69

4.4智慧医疗云平台搭建73

4.5智能交通云平台搭建79

4.6本章小结83

4.7习题83

第5章大数据基础84

5.1数据仓库84

5.2数据挖掘88

5.3社交媒体指挥中心93

5.4产品知识中心94

5.5基础设施和业务研究96

5.6基于位置的服务96

5.7市场细分97

5.8在线广告98

5.9改进风险管理100

5.10本章小结101

5.11习题101

第6章大数据处理方法102

6.1布隆过滤器（BloomFilter）102

6.2散列法（Hashing）106

6.3位图（BitMap）109

6.4堆排序（Heapsort）112

6.5双层桶划分115

6.6数据库索引116

6.7倒排索引（Invertedindex）118

6.8外排序119

6.9Trie树121

6.10分布式处理（MapReduce）123

6.10.1MapReduce详解126

6.10.2MapReduce工作流程127

6.10.3适用范围129

6.11本章小结130

6.12习题130

第7章物联网安全131

7.1信息安全基础131

7.2物联网信息安全体系133

7.3物联网信息安全对策137

7.4物联网信息安全技术142

7.5云计算安全148

7.6本章小结148

7.7习题149

第8章私有云服务150

8.4开源私有云解决方案之二——CloudStack158

8.5私有云服务规划与选型169

8.6私有云是物联网的存在形态之一171

8.7本章小结172

8.8习题172

第9章雾计算173

9.1雾计算起源173

9.2雾计算介绍175

9.3雾计算架构178

9.4雾计算特点185

9.5物联网计算模式191

9.6雾计算产业195

9.8雾计算应用206

9.9本章小结211

9.10习题211

第10章云计算发展趋势展望212

10.1云计算关键技术研究进展212

10.1.4云计算技术新形态215

10.2云计算安全技术研究进展216

10.3云计算标准规范研究进展218

10.4云计算硬件基础建设进展218

10.5云计算服务个性化研究进展219

10.6云计算商务模式创新研究221

10.7云计算生态圈建设225

10.8云计算发展趋势展望226

10.9本章小结228

10.10习题229

丛书序
序言
序言二
第1章云计算数学基础
11概率沦
11 1概率论的发展简史
1.1.2随机事什
1.1.3随机事件的概率
1 2数理统计基础
1.2.1随机变量及乓分布函数
11，随机变量的数字特征
1 2 3随机变量的基本定Lili
1 3分布式汁算介绍
1.3.1 分布式计算概念
1.3.2分布式计算的发展历史
1.3.3分布式计算结构
1.3.4主要分布式技术
1.4网格计算介绍
1. 4 .1刚格的产qi
1. 4. 2网格技术的特征
1 .4 .3网格协议体系结构
1.5云计算介绍
1.5 1 计算的概念
1 5 2云计算服务的形式
1.5.3 云计算的产品
1. 6本章小结
1. 7习题
第2章云计算方法
2.1五计算的发展历程
2 2计算资源使用模式
第3章Pass云平台基础
第4章云平台搭建实战
第5章大数据基础
第6章大数据处理方法
第7章物联网安全
第8章私有云服务
第9章雾计算
第10章云计算发展趋势展望

序言一

伴随着互联网的快速发展，人们很自然地将用户端延伸和扩展到任何物与物间的互联，物联网因此而浮出了水面。物联网被认为是信息产业的又一次浪潮。

单纯的物联网还不足以带来体验的大变革，只有结合了方便的应用才能发挥出更大的作用，所以云计算应运而生。云计算的出现，犹如给物联网的发展插上了翅膀，使物联网拥有了更好的应用体验。所以大家普遍的一种看法是，云计算是物联网发展的基石，物联网和云计算的融合发展将会深刻地改变我们的未来。

首先，云计算技术能够轻而易举地把计算能力送到众人手中。面对物联网的海量数据，云计算的强大计算能力势必要被应用在物联网上。于是，基于并行分布式计算的云计算能力逐渐被应用在需要数据挖掘和数据分析的物联网领域。渐渐地，人们认识到，云计算可以成为物联网应用的计算机大脑。

其次，物联网应用“烟囱”式发展的局面，造成了应用间数据共享能力的不足，同一用户数据无法在多个应用间实现漫游，造成了行业和部门间的沟壑。想要打破这一局面，云计算起码在目前来看是一种很好的解决方案。越来越多的物联网服务运营商意识到，基于云计算技术构建统一的业务管理平台，来管理和运营不同的物联网应用，既可以解决上述问题，又可以使得应用开发更加统一和简单。因此，云计算已经逐渐成为了物联网应用的管理和运营平台。

本书是“物联网工程实战丛书”的第4卷——《物联网之云：云平台搭建与大数据处理》。本书主要讲解云计算平台的搭建和大数据处理的相关知识及实践应用。

对于云计算技术的讲解，我们从数学基础讲起，进而通过云计算的发展历史，很自然地引出云计算的概念、原理和常见的服务模式；通过PaaS模式引出当前常见的云平台搭建实战案例；基于云平台提供的多种应用，给出了针对大数据在分布式云计算中的一些常见处理方法。随着信息安全越来越被提及和重视，物联网的信息安全也成为其发展过程中一个很重要的关注点。面对日新月异的信息技术，雾技术和未来云计算的发展趋势也成为了非常重要的考量点。本书主要基于以上技术方向进行深入浅出的讲解，更加易于读者掌握。我们相信“授之以鱼，不如授之以渔”。

在本书的编写过程中，得到了很多朋友的支持和帮助，在此深表感谢和敬意！特别感谢和我一起从事本书编写工作的各位作者所付出的辛勤劳动。

王见，于山东济南

序言二

云雾之间

物联网上“雾起云涌”

各位读者好，经过几个月的奋力编写，“物联网工程实战丛书”的第4卷——《物联网之云：云平台搭建与大数据处理》终于要和大家见面了。本书的主题是云平台搭建和大数据处理。有感于这个主题，便有了下面的这段小文：

远在天边的云，美不胜收！

那是IT巨头的盛装表演，是王者的饕餮盛宴。

私有云巅峰已过，混合云正在崛起，公有云大战正酣。

公有云服务提供商实力与谋略火花四溅。

开源云软件之间“争风吃醋”与拥抱并存。

没有想象中的大众狂欢，只有整个IT业的呜咽。

除了公有云三巨头，其他的云计算公司和IT企业却并没想象中的光鲜。

中小企业、IT创客、传统IT企业，都只是云的用户。

它们没有能力和IT巨头竞争，肉不容易吃到，只能啃点骨头，喝点肉汤，但还得天天做贡献。

那就用这本书来安慰一下IT创客们受伤的心灵，拯救那些还挣扎于“水深火热”中的传统IT企业吧！何谓云？哪是雾？物联网上为什么“雾起云涌”？且看笔者慢慢分解。

云计算模式

云计算是一种商业模式，是一种服务模式，是一种计算服务模式，更是一种远程计算服务模式。云计算的关键词：虚拟化、数据中心、面向服务和按需付费。

云计算是一种商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算能力、存储空间和信息服务。用户可以动态申请部分资源，支持各种应用程序的运转，而无须再为烦琐的细节烦恼，让用户能够更加专注于自己的业务，从而有利于提高效率，降低成本，提升技术创新能力。

这可是一种革命性的举措。打个比方，这就好比是从古老的单台发电机模式转向了电厂集中供电模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水和电一样，取用方便，而且费用低廉。和普通流通品最大的不同在于，云平台上资源的流通是通过互联网进行传输的。

云计算的核心理念是资源池，它将计算和存储资源虚拟成一个可以任意组合和分配的集合。池的规模可以动态扩展，分配给用户的处理能力可以动态回收重用。这种模式能够大大提高资源的利用率，也能大大提升平台的服务质量。

这种资源池称为“云”。云是一些可以自我维护和管理的虚拟计算资源。通常它是一些大型服务器集群，包括计算服务器、存储服务器和宽带资源等。这些计算资源只有大型企业具备优势。

1．云计算服务的三种类型

软件即服务（SaaS）：提供服务运营商运行在云计算基础设施上的应用程序，如浏览器。

平台即服务（PaaS）：提供基于云计算的应用解决方案，比如虚拟服务器和操作系统。

基础设施即服务（IaaS）：提供服务器、存储器、网络服务和租赁服务。

2．云计算的特点

超大规模：Google拥有100多万台服务器，Amazon、IBM、微软和Yahoo等公司的云均拥有几十万台服务器。

虚拟化：云计算支持用户在任意位置使用各种终端获取服务。所请求的资源来自于云，而不是固定的有形实体。用户只需要一台笔记本电脑或一个PDA，就可以获取各种服务。

高可靠性：云使用了数据多副本容错及计算节点同构可互换等措施来保障服务的高可靠性，这使得用云计算比使用本地计算机更加可靠。

通用性：云计算不针对特定的应用，在云的支撑下可以构造出千变万化的应用，同一片云可以同时支撑不同的应用运行。

高可伸缩性：云的规模可以动态伸缩，满足应用和用户规模增长的需要。

按需服务：云是一个庞大的资源池，用户按需购买，像自来水、电和煤气那样计费。

极其廉价：采用极其廉价的节点来构成云；云的自动化管理使数据中心管理成本大幅降低；云的公用性和通用性使资源的利用率大幅提升。

3．云计算的市场覆盖与垄断

云计算已经成为IT领域的标配模式。它易操作，存储量惊人，对用户来说几乎无处不在。它不仅成就了世界上最大的公司，同时也给小公司提供支持。

云改变了服务供给双方的经济模式，同时也带来了更多新的机遇。

移动互联网本身大量依托于云技术。云已经成为移动平台的有力推动者。在移动时代，本质上真的打开了一扇通往云的门，因为大部分移动端的处理，都发生在云上。

云服务提供各种应用和服务，把信息的存储也从PC端转移到云端，而使用者可以是任何人。人们不再需要保存或者维护什么资料，只需要确保计算机联网即可。同时，人们只需要为服务付费即可，而不再需要雇佣IT员工、购买基础设施、保持硬件（服务器）更新等。对于大多数人而言，SaaS和移动数据分享App便是经常接触到的公有云。

毫无疑问，第一家开发公有云的公司尝到了规模经济的甜头。亚马逊为自己的业务需求建立了大规模的数据中心来管理交易和库存。它们创建了各种各样的工具来管理庞大的网络请求、存储需求和计算需求。谷歌同样需要管理庞大的搜索数据，它的系统架构足以管理数十亿请求。

正是因为像谷歌和亚马逊这样的巨头在前，新的云服务商很难再取得较大成功。

物联网概念

全世界物品连接起来，实现信息采集、信息传输、设备智能控制，从而构建智慧校园、智慧医院和智慧城市。

物品联网，必须具有信息感知、信息处理、信息传输的功能，这样的物品，我们称之为智能硬件。利用智能硬件建设的信息化校园，称为智慧校园。智能汽车、智能公路、智能交通调度组成了智慧交通系统。物联网正在改变着人们的生活方式，但所有这些额外的便利与效率都是有代价的。

物联网可以收集到前所未有的范围内的大量数据，进而会对网络结构和存储空间产生巨大的压力，所以云计算不可避免地遇到了如下几大难题。

网络拥塞：如果大量的物联网和人工智能应用部署在云中，将会有海量的原始数据不间断地涌入核心网络，造成核心网络拥塞。

高延迟：终端设备与云数据中心的较远距离将导致较高的网络延迟，而对实时性要求高的应用则难以满足需求。

可靠性无法保证：对可靠性和安全性要求较高的应用，由于从终端到云平台的距离远，通信通路长，因而风险大，云中备份的成本也高。

安全性：数据中心因为拥有客户的数据，因此黑客和其他恶意使用者都对之虎视眈眈。例如，2013年斯诺登“棱镜门”事件爆发后，人们对云端数据的信任度明显下降。

雾计算方法

雾计算方法也被称为边缘计算。它为计算设备提供了收集并管理数据的方法。雾计算不是在云端或遥远的数据中心进行，而是在较近的地区。在这种模式下，传感器及其他连接性设备将数据发送至一个附近的边缘计算设备上，可能会是一个微型服务器、交换机、路由器这样的网间连接装置来处理并分析数据，不必再远程传送到云端。

预测到2020年，将有58亿个物联网设备使用雾计算。许多物联网设备并不具有强大的计算能力，所以比起云计算来说，雾计算能提供给物联网设备更好的计算服务。云计算在广域范围提供计算服务，雾计算在局部范围为物（联网设备）提供计算服务。诚然，它们的边界并没有这么分明。

雾计算的主要特点有如下几点。

极低时延：这对于物联网十分重要，网上游戏、视频传输和增强现实等都需要极低的时延。

辽阔的地理分布：这正好与集中在某个地点的云计算（数据中心）形成强烈的对比。

传感器网络：雾计算需要具备有大量网络节点的大规模传感器网络，用来监控环境。

支持高移动性：对于雾计算来说，手机和其他移动设备相互之间可以直接通信，信号不必到云端甚至基站去绕一圈，因此可以支持很高的移动性。　　

物联网上腾云驾雾

物联网、云计算和雾计算将会改变人们的数据采集、数据存储和数据传输的方法。物联网也将会更深远地影响人们日常生活中的其他领域。

云的核心就是安装了大量服务器和存储器的“数据中心”。全球数据中心的用电功率相当于30个核电站的供电功率，其中90%的耗电量都被浪费。目前用大量电能来维持的数据中心，暂时还能给广大用户提供云服务。但是当物联网数据呈指数级增长后，云中心可能会无法再维持下去。

随着物联网的到来，工业设备和家用电器都会装配大量的传感器，包括嵌入在可穿戴设备和其他设备中的大量传感器都会联网，从而产生极其庞大的数据。大量数据的发送和接收，可能会造成数据中心和终端之间的拥塞，从而导致传输速率大大降低，甚至造成很大的时延。

解决之道就是雾计算。雾计算在各行各业的垂直细分市场所带来的便捷令人欢欣鼓舞。地铁进站时使用手机直接刷卡进站，而不再上云。手机与闸机直接对话，2秒完成，通过率大大提高。

云计算和雾计算为人们完成日常任务提供了极大的便利，效率大大提升，两者之间也相得益彰。物联网收集了大量数据，雾计算提供了实时处理和实时控制；云计算为这些数据提供了分析和存储，并提供了智慧判断和决策。

数以万亿计的物联网设备需要联网，雾计算服务器、路由器、交换机需要大量的工程师去开发和维护。这不是某个IT巨头所能垄断的，而是物联网给IT创客和中小企业提供的新机会和新舞台。

物联网上，“雾”起“云”涌。各路IT高手同台竞技，腾“云”驾“雾”会有时，柳暗花明又一村。

仅以此文致敬那些辛勤工作在“云雾”之中的工程师们！

曾凡太，于山东大学