序言一
伴随着互联网的快速发展，人们很自然地将用户端延伸和扩展到任何物与物间的互联，物联网因此而浮出了水面。物联网被认为是信息产业的又一次浪潮。
单纯的物联网还不足以带来体验的大变革，只有结合了方便的应用才能发挥出更大的作用，所以云计算应运而生。云计算的出现，犹如给物联网的发展插上了翅膀，使物联网拥有了更好的应用体验。所以大家普遍的一种看法是，云计算是物联网发展的基石，物联网和云计算的融合发展将会深刻地改变我们的未来。
首先，云计算技术能够轻而易举地把计算能力送到众人手中。面对物联网的海量数据，云计算的强大计算能力势必要被应用在物联网上。于是，基于并行分布式计算的云计算能力逐渐被应用在需要数据挖掘和数据分析的物联网领域。渐渐地，人们认识到，云计算可以成为物联网应用的计算机大脑。
其次，物联网应用“烟囱”式发展的局面，造成了应用间数据共享能力的不足，同一用户数据无法在多个应用间实现漫游，造成了行业和部门间的沟壑。想要打破这一局面，云计算起码在目前来看是一种很好的解决方案。越来越多的物联网服务运营商意识到，基于云计算技术构建统一的业务管理平台，来管理和运营不同的物联网应用，既可以解决上述问题，又可以使得应用开发更加统一和简单。因此，云计算已经逐渐成为了物联网应用的管理和运营平台。
本书是“物联网工程实战丛书”的第4卷——《物联网之云：云平台搭建与大数据处理》。本书主要讲解云计算平台的搭建和大数据处理的相关知识及实践应用。
对于云计算技术的讲解，我们从数学基础讲起，进而通过云计算的发展历史，很自然地引出云计算的概念、原理和常见的服务模式；通过PaaS模式引出当前常见的云平台搭建实战案例；基于云平台提供的多种应用，给出了针对大数据在分布式云计算中的一些常见处理方法。随着信息安全越来越被提及和重视，物联网的信息安全也成为其发展过程中一个很重要的关注点。面对日新月异的信息技术，雾技术和未来云计算的发展趋势也成为了非常重要的考量点。本书主要基于以上技术方向进行深入浅出的讲解，更加易于读者掌握。我们相信“授之以鱼，不如授之以渔”。
在本书的编写过程中，得到了很多朋友的支持和帮助，在此深表感谢和敬意！特别感谢和我一起从事本书编写工作的各位作者所付出的辛勤劳动。
王见，于山东济南
序言二
云雾之间
物联网上“雾起云涌”
各位读者好，经过几个月的奋力编写，“物联网工程实战丛书”的第4卷——《物联网之云：云平台搭建与大数据处理》终于要和大家见面了。本书的主题是云平台搭建和大数据处理。有感于这个主题，便有了下面的这段小文：
远在天边的云，美不胜收！
那是IT巨头的盛装表演，是王者的饕餮盛宴。
私有云巅峰已过，混合云正在崛起，公有云大战正酣。
公有云服务提供商实力与谋略火花四溅。
开源云软件之间“争风吃醋”与拥抱并存。
没有想象中的大众狂欢，只有整个IT业的呜咽。
除了公有云三巨头，其他的云计算公司和IT企业却并没想象中的光鲜。
中小企业、IT创客、传统IT企业，都只是云的用户。
它们没有能力和IT巨头竞争，肉不容易吃到，只能啃点骨头，喝点肉汤，但还得天天做贡献。
那就用这本书来安慰一下IT创客们受伤的心灵，拯救那些还挣扎于“水深火热”中的传统IT企业吧！何谓云？哪是雾？物联网上为什么“雾起云涌”？且看笔者慢慢分解。
云计算模式
云计算是一种商业模式，是一种服务模式，是一种计算服务模式，更是一种远程计算服务模式。云计算的关键词：虚拟化、数据中心、面向服务和按需付费。
云计算是一种商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算能力、存储空间和信息服务。用户可以动态申请部分资源，支持各种应用程序的运转，而无须再为烦琐的细节烦恼，让用户能够更加专注于自己的业务，从而有利于提高效率，降低成本，提升技术创新能力。
这可是一种革命性的举措。打个比方，这就好比是从古老的单台发电机模式转向了电厂集中供电模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水和电一样，取用方便，而且费用低廉。和普通流通品最大的不同在于，云平台上资源的流通是通过互联网进行传输的。
云计算的核心理念是资源池，它将计算和存储资源虚拟成一个可以任意组合和分配的集合。池的规模可以动态扩展，分配给用户的处理能力可以动态回收重用。这种模式能够大大提高资源的利用率，也能大大提升平台的服务质量。
这种资源池称为“云”。云是一些可以自我维护和管理的虚拟计算资源。通常它是一些大型服务器集群，包括计算服务器、存储服务器和宽带资源等。这些计算资源只有大型企业具备优势。
1．云计算服务的三种类型
软件即服务（SaaS）：提供服务运营商运行在云计算基础设施上的应用程序，如浏览器。
平台即服务（PaaS）：提供基于云计算的应用解决方案，比如虚拟服务器和操作系统。
基础设施即服务（IaaS）：提供服务器、存储器、网络服务和租赁服务。
2．云计算的特点
超大规模：Google拥有100多万台服务器，Amazon、IBM、微软和Yahoo等公司的云均拥有几十万台服务器。
虚拟化：云计算支持用户在任意位置使用各种终端获取服务。所请求的资源来自于云，而不是固定的有形实体。用户只需要一台笔记本电脑或一个PDA，就可以获取各种服务。
高可靠性：云使用了数据多副本容错及计算节点同构可互换等措施来保障服务的高可靠性，这使得用云计算比使用本地计算机更加可靠。
通用性：云计算不针对特定的应用，在云的支撑下可以构造出千变万化的应用，同一片云可以同时支撑不同的应用运行。
高可伸缩性：云的规模可以动态伸缩，满足应用和用户规模增长的需要。
按需服务：云是一个庞大的资源池，用户按需购买，像自来水、电和煤气那样计费。
极其廉价：采用极其廉价的节点来构成云；云的自动化管理使数据中心管理成本大幅降低；云的公用性和通用性使资源的利用率大幅提升。
3．云计算的市场覆盖与垄断
云计算已经成为IT领域的标配模式。它易操作，存储量惊人，对用户来说几乎无处不在。它不仅成就了世界上最大的公司，同时也给小公司提供支持。
云改变了服务供给双方的经济模式，同时也带来了更多新的机遇。
移动互联网本身大量依托于云技术。云已经成为移动平台的有力推动者。在移动时代，本质上真的打开了一扇通往云的门，因为大部分移动端的处理，都发生在云上。
云服务提供各种应用和服务，把信息的存储也从PC端转移到云端，而使用者可以是任何人。人们不再需要保存或者维护什么资料，只需要确保计算机联网即可。同时，人们只需要为服务付费即可，而不再需要雇佣IT员工、购买基础设施、保持硬件（服务器）更新等。对于大多数人而言，SaaS和移动数据分享App便是经常接触到的公有云。
毫无疑问，第一家开发公有云的公司尝到了规模经济的甜头。亚马逊为自己的业务需求建立了大规模的数据中心来管理交易和库存。它们创建了各种各样的工具来管理庞大的网络请求、存储需求和计算需求。谷歌同样需要管理庞大的搜索数据，它的系统架构足以管理数十亿请求。
正是因为像谷歌和亚马逊这样的巨头在前，新的云服务商很难再取得较大成功。
物联网概念
全世界物品连接起来，实现信息采集、信息传输、设备智能控制，从而构建智慧校园、智慧医院和智慧城市。
物品联网，必须具有信息感知、信息处理、信息传输的功能，这样的物品，我们称之为智能硬件。利用智能硬件建设的信息化校园，称为智慧校园。智能汽车、智能公路、智能交通调度组成了智慧交通系统。物联网正在改变着人们的生活方式，但所有这些额外的便利与效率都是有代价的。
物联网可以收集到前所未有的范围内的大量数据，进而会对网络结构和存储空间产生巨大的压力，所以云计算不可避免地遇到了如下几大难题。
网络拥塞：如果大量的物联网和人工智能应用部署在云中，将会有海量的原始数据不间断地涌入核心网络，造成核心网络拥塞。
高延迟：终端设备与云数据中心的较远距离将导致较高的网络延迟，而对实时性要求高的应用则难以满足需求。
可靠性无法保证：对可靠性和安全性要求较高的应用，由于从终端到云平台的距离远，通信通路长，因而风险大，云中备份的成本也高。
安全性：数据中心因为拥有客户的数据，因此黑客和其他恶意使用者都对之虎视眈眈。例如，2013年斯诺登“棱镜门”事件爆发后，人们对云端数据的信任度明显下降。
雾计算方法
雾计算方法也被称为边缘计算。它为计算设备提供了收集并管理数据的方法。雾计算不是在云端或遥远的数据中心进行，而是在较近的地区。在这种模式下，传感器及其他连接性设备将数据发送至一个附近的边缘计算设备上，可能会是一个微型服务器、交换机、路由器这样的网间连接装置来处理并分析数据，不必再远程传送到云端。
预测到2020年，将有58亿个物联网设备使用雾计算。许多物联网设备并不具有强大的计算能力，所以比起云计算来说，雾计算能提供给物联网设备更好的计算服务。云计算在广域范围提供计算服务，雾计算在局部范围为物（联网设备）提供计算服务。诚然，它们的边界并没有这么分明。
雾计算的主要特点有如下几点。
极低时延：这对于物联网十分重要，网上游戏、视频传输和增强现实等都需要极低的时延。
辽阔的地理分布：这正好与集中在某个地点的云计算（数据中心）形成强烈的对比。
传感器网络：雾计算需要具备有大量网络节点的大规模传感器网络，用来监控环境。
支持高移动性：对于雾计算来说，手机和其他移动设备相互之间可以直接通信，信号不必到云端甚至基站去绕一圈，因此可以支持很高的移动性。
物联网上腾云驾雾
物联网、云计算和雾计算将会改变人们的数据采集、数据存储和数据传输的方法。物联网也将会更深远地影响人们日常生活中的其他领域。
云的核心就是安装了大量服务器和存储器的“数据中心”。全球数据中心的用电功率相当于30个核电站的供电功率，其中90%的耗电量都被浪费。目前用大量电能来维持的数据中心，暂时还能给广大用户提供云服务。但是当物联网数据呈指数级增长后，云中心可能会无法再维持下去。
随着物联网的到来，工业设备和家用电器都会装配大量的传感器，包括嵌入在可穿戴设备和其他设备中的大量传感器都会联网，从而产生极其庞大的数据。大量数据的发送和接收，可能会造成数据中心和终端之间的拥塞，从而导致传输速率大大降低，甚至造成很大的时延。
解决之道就是雾计算。雾计算在各行各业的垂直细分市场所带来的便捷令人欢欣鼓舞。地铁进站时使用手机直接刷卡进站，而不再上云。手机与闸机直接对话，2秒完成，通过率大大提高。
云计算和雾计算为人们完成日常任务提供了极大的便利，效率大大提升，两者之间也相得益彰。物联网收集了大量数据，雾计算提供了实时处理和实时控制；云计算为这些数据提供了分析和存储，并提供了智慧判断和决策。
数以万亿计的物联网设备需要联网，雾计算服务器、路由器、交换机需要大量的工程师去开发和维护。这不是某个IT巨头所能垄断的，而是物联网给IT创客和中小企业提供的新机会和新舞台。
物联网上，“雾”起“云”涌。各路IT高手同台竞技，腾“云”驾“雾”会有时，柳暗花明又一村。
仅以此文致敬那些辛勤工作在“云雾”之中的工程师们！
曾凡太，于山东大学
