弹性计算:无处不在的算力pdf下载pdf下载

弹性计算:无处不在的算力百度网盘pdf下载

作者:
简介:本篇主要提供弹性计算:无处不在的算力pdf下载
出版社:电子工业出版社
出版时间:2020-08
pdf下载价格:0.00¥

免费下载


书籍下载


内容介绍

产品特色

编辑推荐

适读人群 :本书可作为云计算爱好者了解弹性计算基本概念的阅读材料,或作为资深技术专家的参考书,也可用于帮助云计算企业用户理解弹性计算技术的内涵。

因为弹性计算,移动工作者们可以轻松地在手机上创新、创造、创生活;

因为弹性计算,人工智能专家们不再为调参痛苦不堪,云上自有各种模型与数据,轻松获取结果;

因为弹性计算,科学家们不再为算力不足而发愁,动动鼠标,海量数据分析处理信手拈来;

因为弹性计算,架构师们不再为扩容多少台机器而烦恼,不再为在哪个旮旯里加个模块而发愁,轻松应对突发峰值流量;因为弹性计算,运维工程师们不再需要流血流汗还不讨好,在电脑动动几个参数即可操作全球可用资源;

因为弹性计算,创业公司能轻松享用以前国有大企业花重金才有的先进IT基础设施;

……

本书即揭开弹性计算的神秘面纱,从计算、存储、网络、安全、稳定性等产品技术架构,到弹性裸金属、容器、异构、超算、函数计算等新潮技术,一应俱全,是目前市场上了解云计算背后技术的宝典级参考书,值得每一位云计算技术开发人员,每一位普通读者阅读与学习。


内容简介

《弹性计算》以阿里云弹性计算团队的起源、发展、成就作为切入点,描述了弹性计算涉及的计算、存储、网络、安全、稳定性等产品技术架构,权威定义了云计算产业的弹性计算。此 外,本书对弹性裸金属、容器、异构、超算、函数计算等新潮技术一一做了介绍,并通过数个典型案例展示弹性计算的用户场景。本书可作为云计算爱好者了解基本概念的阅读材料,或作为资深技术专家的全面参考书,也可用于帮助云计算企业用户理解技术的内涵。

作者简介

阿里云基础产品委员会主要负责阿里云的计算、存储、网络、安全、云原生、稳定性等产品技术架构设计与开发,权威定义了包括弹性计算在内的云计算产业标准。

目录

目录
第1章 开篇 / 1
1.1 弹性计算是什么 / 2
1.1.1 弹性计算的形态 / 3
1.1.2 弹性计算的构成 / 3
1.1.3 弹性计算的业务模式 / 4
1.1.4 弹性计算的使用方式 / 5
1.1.5 弹性计算的地位 / 5
1.1.6 弹性计算的演进过程 / 6
1.2 弹性计算的价值 / 7
1.2.1 高可用和高可靠 / 7
1.2.2 更安全 / 9
1.2.3 高性能 / 10
1.2.4 大弹性 / 11
1.2.5 高效率 / 13
1.2.6 省成本 / 13

1.3 弹性计算的使用场景 / 14
1.3.1 日常计算需求 / 15
1.3.2 互联网服务 / 15
1.3.3 海量计算和存储 / 15
1.3.4 流量短时高峰 / 16
1.3.5 高可用与分布式 / 16
1.3.6 批处理任务 / 16
1.3.7 专用硬件加速 / 16
1.4 弹性计算的技术架构 / 16
1.4.1 工作原理 / 16
1.4.2 总体架构 / 18
1.4.3 控制面 / 19
1.4.4 数据面 / 21
1.4.5 物理设施层 / 23
1.5 小结 / 23

第2章 弹性计算产品家族 / 25
2.1 云服务器开天地 / 26
2.1.1 ECS实例 / 28
2.1.2 弹性块存储 / 30
2.1.3 虚拟网络 / 31
2.1.4 镜像 / 32
2.1.5 快照 / 33
2.1.6 专有宿主机 / 34
2.2 容器和云原生时代兴起 / 35
2.2.1 容器服务 / 36
2.2.2 弹性容器实例 / 36
2.2.3 函数计算 / 36
2.3 裸金属的复兴 / 37
2.3.1 弹性裸金属服务器 / 37
2.3.2 超级计算集群 / 38
2.4 运维辅助类产品加持 / 38
2.4.1 资源编排服务 / 38
2.4.2 运维编排服务 / 39
2.4.3 弹性伸缩 / 40
2.4.4 弹性供应 / 42
2.4.5 迁移中心 / 43
2.5 IaaS+和PaaS类计算产品 / 44
2.5.1 轻量应用服务器 / 45
2.5.2 批量计算 / 45
2.5.3 大数据处理E-MapReduce / 46
2.5.4 弹性高性能计算E-HPC / 47
2.6 小结 / 48
第3章 计算产品和技术 / 51
3.1 云计算技术概述 / 52
3.2 虚拟机云服务器 / 54
3.2.1 功能特点 / 54
3.2.2 适用场景 / 55
3.2.3 虚拟化技术 / 56
3.2.4 调度技术 / 67
3.2.5 Guest OS / 73
3.3 弹性裸金属服务器和神龙虚拟化 / 81
3.3.1 功能特点 / 81
3.3.2 适用场景 / 85
3.3.3 弹性裸金属技术 / 87
3.4 异构计算云服务和AI加速器 / 93
3.4.1 功能特点 / 94
3.4.2 适用场景 / 96
3.4.3 GPU虚拟化技术 / 101
3.4.4 FPGA虚拟化技术 / 108
3.4.5 EAIS软件池化技术 / 114
3.4.6 AI加速器及其性能优化技术 / 115
3.5 云上高性能计算 / 118
3.5.1 功能特点 / 119
3.5.2 适用场景 / 123
3.5.3 超算产品的关键技术 / 129
3.6 容器服务与弹性容器实例 / 141
3.6.1 功能特点 / 142
3.6.2 适用场景 / 146
3.6.3 实现技术 / 148
3.7 函数计算 / 156
3.7.1 功能特点 / 156
3.7.2 适用场景 / 157
3.7.3 函数计算系统设计 / 159
3.8 小结 / 164
第4章 弹性块存储 / 167
4.1 弹性块存储概述 / 168
4.2 云盘 / 171
4.2.1 功能特点和适用场景 / 171
4.2.2 核心架构和技术 / 184
4.3 共享云盘 / 205
4.3.1 功能特点 / 205
4.3.2 适用场景 / 207
4.3.2 共享互斥 / 210
4.4 本地盘 / 212
4.4.1 功能特点和适用场景 / 212
4.4.2 核心技术 / 216
4.5 小结 / 223
第5章 虚拟网络 / 225
5.1 虚拟网络概述 / 226
5.2 弹性网卡 / 227
5.2.1 功能特点 / 227
5.2.2 适用场景 / 229
5.2.3 最佳实践 / 230
5.3 弹性IP 地址 / 231
5.3.1 适用场景 / 231
5.3.2 最佳实践 / 236
5.4 路由表 / 239
5.4.1 功能特点 / 240
5.4.2 适用场景 / 241
5.4.3 最佳实践 / 243
5.5 安全组 / 245
5.5.1 功能特点 / 246
5.5.2 适用场景 / 247
5.5.3 最佳实践 / 248
5.6 子网 / 250
5.6.1 网络ACL / 251
5.6.2 适用场景 / 252
5.6.3 最佳实践 / 253
5.7 流量控制 / 254
5.7.1 功能特点 / 254
5.7.2 适用场景 / 256
5.7.3 最佳实践 / 257
5.8 VPC流日志 / 258
5.8.1 功能特点 / 258
5.8.2 适用场景 / 260
5.8.3 技术实现 / 260
5.8.4 最佳实践 / 262
5.9 小结 / 262
第6章 成本和弹性 / 263
6.1 IT基础设施投入成本构成 / 265
6.2 云上的IT基础设施投入成本 / 266
6.2.1 批量成本 / 266
6.2.2 资源利用率 / 267
6.2.3 扩容和容灾 / 269
6.2.4 批次运维 / 270
6.2.5 服务质量 / 271
6.3 云上资源付费方式 / 272
6.3.1 后付费 / 273
6.3.2 预付费 / 275
6.4 弹性计算如何满足弹性需求 / 277
6.4.1 狭义弹性场景 / 277
6.4.2 广义弹性场景 / 279
6.5 使用弹性能力 / 280
6.5.1 弹性伸缩 / 280
6.5.2 弹性供应 / 281
6.5.3 弹性交付效率 / 282
6.6 云上成本优化的最佳实践 / 283
6.6.1 离线/在线资源混用 / 283
6.6.2 依赖地域成本差异,部署优化业务成本 / 283
6.7 弹性能力的幕后英雄 / 284
6.7.1 管控 / 284
6.7.2 调度 / 286
6.7.3 库存 / 289
6.8 小结 / 291
第7章 稳定性和运维 / 293
7.1 概述 / 294
7.1.1 稳定性的基本概念 / 294
7.1.2 稳定性工程体系 / 297
7.2 计算实例的稳定性 / 298
7.2.1 高稳定性的产品设计 / 298
7.2.2 面向失败的系统设计 / 306
7.2.3 异常预测思维 / 311
7.3 管控的稳定性 / 314
7.3.1 稳定的架构设计 / 315
7.3.2 发布和测试 / 322
7.3.3 监控和自动修复 / 326
7.4 用户侧稳定性 / 328
7.4.1 运维概述 / 328
7.4.2 用户侧运维工具 / 331
7.5 小结 / 347
第8章 云上安全 / 349
8.1 云上安全体系构成 / 350
8.2 云平台侧安全 / 352
8.2.1 云产品安全 / 352
8.2.2 虚拟化安全 / 360
8.2.3 身份和访问控制 / 363
8.2.4 物理安全 / 364
8.2.5 硬件安全 / 366
8.3 用户侧安全 / 368
8.3.1 ECS主机安全 / 369
8.3.2 容器安全 / 370
8.3.3 网络安全 / 371
8.3.4 用户身份和访问控制 / 372
8.4 小结 / 375
第9章 客户案例 / 377
9.1 客户A:著名奢侈品电商 / 378
9.1.1 客户背景分析 / 378
9.1.2 可用方案分析 / 379
9.1.3 落地的迁云解决方案 / 380
9.1.4 上云后的收益 / 381
9.2 客户B:知名本地生活平台 / 382
9.2.1 客户背景分析 / 382
9.2.2 上云需求 / 382
9.2.3 落地的迁云解决方案 / 382
9.2.4 上云后的收益 / 384
9.3 客户C:老牌网络下载服务商 / 386
9.3.1 客户背景分析 / 386
9.3.2 上云需求 / 386
9.3.3 落地的迁云解决方案 / 386
9.3.4 上云后的收益 / 388
第10章 展望 / 391
10.1 稳定性 / 392
10.2 安全 / 392
10.3 性能 / 393
10.4 弹性 / 393
10.5 Infrastructure as Code / 394
10.6 容器和 Kubernetes / 394
10.7 Serverless / 394
10.8 小结 / 395

前言/序言

推荐序1

当今的中国已经成为全球第二大经济体,作为能推动中国进一步发展的新动能,IT信息化将会起到越来越重要的作用。这其中,云计算加快了对IT架构的变革,是我国实现由“中国制造”向“中国创造”转型的基石之一。而随着新基建大潮的到来,我们可以更清晰地看到,云计算已经成为新基建的基础设施。

遥想云计算刚刚兴起时,我们一些专家之所以在各行业大会上,给云计算布道,也是因为深感历史大潮已至,中国必须抓紧机遇。云计算是信息技术历史上,继大型主机、个人电脑、互联网之后的又一时代,将使信息领域软硬件和服务形态发生重大变革。由于云计算是新生技术,其技术和标准未被跨国公司垄断,这有利于推广我国自主可控的技术和解决方案。从市场竞争力来说,自主创新的云计算软硬件的性价比具有突出优势。基于此,构建大企业、大部门自主可控的云计算,是我国重要信息系统摆脱跨国公司垄断的切实可行的途径。同时,与发达国家相比,我国信息化起步较晚,历史包袱轻,过渡到云计算的代价低,故具有后发优势。

如今,时光荏苒,我国云计算行业已经发展了十年有余。云计算也不负众望地为信创产业做出了突出贡献。阿里云自主研发出了云计算操作系统“飞天”、新一代云数据库PolarDB、世界第一的AI 推理芯片含光800,等等,在中国企业自主创新之路上不断迈出坚实的脚步。

作为国内最早探索云计算的先行者,阿里云在2009年即成立,一路走来并不容易——筚路蓝缕、历经曲折,终成中国云计算行业龙头企业。本书记录了阿里云技术人员创业的艰苦卓绝,也凝结了他们厚重的技术实力。

他们的故事也在提醒着我们,自主创新并不是一条容易的路,突破核心技术,注定荆棘满途。可是,自主创新是我们攀登世界科技高峰的必由之路。没有自主创新,企业没法打破垄断、站稳市场,国家无法实现技术的自主可控与网络安全。因此,我们不仅需要克服资源或技术上的困难,还要克服思想障碍。不树立自主创新的观念,不树立艰苦奋斗、自力更生的观念是搞不好创新的。阿里云创业专家与技术人员,也是一次又一次地战胜艰难,才获得了现在的成绩。

如今,我们在信创产业的自主创新已经取得了一定成绩,整体技术和产业水平已居世界第二,但我们既不要夜郎自大,也不要妄自菲薄,还需要不断努力。

云计算的发展初见成效,却仍有很长的路要走,面临的竞争依然激烈。我们要继续推动云计算在各行业的应用,推动更多行业的信息化升级,走出国门,构建人类命运共同体,服务于更多人群。我国“十三五”规划中也指出,实施网络强国战略,加快建设“数字中国”,推动技术向各行业全面融合渗透,构建万物互联、融合创新、智能协同、安全可控的新一代信息技术产业体系。其中就包括云计算技术,云计算将会成为推动中国智造、产业信息化的重要技术力量。

在此背景下,阿里云基础产品委员会写就此书,相信对传统企业家与云计算行业的从业者全面深刻地理解云计算将会提供很有价值的帮助。

倪光南

中国工程院院士

2020 年7月于北京

推荐序2

“工欲善其事,必先利其器”。在人类漫长的历史上,从来没有一种“器”像计算机一样如此迅猛而又深刻地改变着人类社会。从诞生至今,不足百年的时间,计算机几乎已经渗透到了社会的方方面面,人们的工作、学习和生活中处处能看到它的身影:人们通过计算机完成产品的设计、仿真和制造;人们通过计算机完成在线或离线课程的学习;人们通过计算机完成网上购物、在线娱乐和交友互动,等等。正因为如此,计算科学早在若干年前就被视作继实验和理论之后人们认识世界和改造世界的第三种范式。而近些年出现的第四范式,也就是数据密集型科学更是强化了计算机的地位——无论是数据的存储还是处理,显然都离不开计算机的支持。

如同其他所有事物和技术一样,计算机本身也处在不断地发展变化之中。从最初的大型机,到个人计算机,再到当下的智能手机和各种可穿戴设备,计算机的能力越来越强,形式也越来越多样化。在计算机本身快速发展演化的同时,随着应用的普及和社会分工的进一步深化,计算机的使用方式也在发生变化,计算日益变得公用化,越来越多的应用运行在第三方的计算机上。这一模式就是当前已经广为人知的云计算。

云计算的愿景是,将计算变成基础设施,使得用户能够像使用水、电那样按需使用计算资源,并按照用量付费。这一模式带来的影响是深远的。过去,企业需要购置大量的服务器,配备专门的IT团队才能开展自身的业务。对于不少企业,特别是那些初创企业而言,这是“生命中不可承受之重”。云计算的出现改变了这一窘境,企业只需要在云计算服务网站上动动鼠标,敲敲键盘,就能获得所需的资源,无须付出巨大的前期投入,无须组建自己的专门IT团队。如此一来,企业可以将更多的资源和精力投入业务创新中,从而推动业务更快地发展。考虑到我国计算机应用水平总体而言还比较低,云计算的意义尤为巨大。

由于计算资源具有完全不同于水、电的特性,而用户的需求又是多种多样的,所以要实现云计算的愿景,实现计算资源的弹性供应充满了挑战。这些挑战不仅有技术上的,还有观念上的。所幸的是,云计算作为一种新生事物,国内外处于同一起跑线上,这为改变我国IT服务和应用水平总体落后的局面,实现跨越式发展提供了难得的机遇。从现在的情况来看,我们把握住了这次机遇。经过十多年的发展,在党和各级政府的大力支持下,国内涌现出一大批云计算企业和服务,部分服务已在国际上崭露头角,有效支撑了产业转型升级和包括大数据及人工智能在内的各种国家战略。

尽管如此,云计算的技术还远未成熟,云计算的潜力也尚未得到完全释放。在这种情况下,梳理过去十年来云计算发展的技术和应用成果,无论是对于该领域的云计算服务提供者,还是对于使用云计算服务的最终用户,都是大有裨益的,都会促进云计算市场的进一步繁荣和云计算应用的不断深入。我很欣慰地看到由阿里云内部核心技术人员所著的《弹性计算:无处不在的算力》一书的出版。阿里云是中国云计算领域的先行者,其所提供的服务近乎占据了中国公共云计算市场的“半壁江山”,在国际上也进入“三甲之列”。该书围绕云计算的弹性这一主题,不仅阐述了弹性计算的概念、所带来的技术红利及其原理,更为重要的是,它从计算、存储、网络、安全和云原生等方面系统总结了已经经过实践检验的、通往计算弹性的“阿里之路”,并给出了成功的应用案例,其参考意义和示范效应无疑是巨大的。

作为一名IT研究人员,本人一直从事系统相关方面的研究,从“十二五”开始,更是在科技部“863计划”和国家重点研发计划的资助下,与阿里巴巴集团在包括存储系统、高性能图“数据处理”等云计算技术和应用方面进行了深入的合作,深知其中的艰辛,也很高兴看见阿里云的成功。对我国的云计算产业而言,这是一个良好的开端。未来,依然任重道远,在国家启动新工科和新型基础设施建设的背景下,希望越来越多的个人和企业能够学习云计算,投身云计算;希望越来越多的“云”能够随风化雨,润泽越来越多的行业,进而早日实现中华民族的伟大复兴。

武永卫

清华大学计算机系教授

2020年7月于北京

推荐序3

云计算的概念出现至今,已经有十几年的时间。如今,云计算已经成为支撑数字经济发展,承载政府、城市,以及行业数字化转型的数字基础设施。

云计算不能被简单地理解为一项或多项技术的组合,其本质是一种IT技术平台化、产品化、资源化,并以服务的方式交付的创新范式。成本集约、安全集约、管理集约的云计算平台,大大降低了数字创新的门槛、减少了创新成本、加快了创新速度。更重要的是,云计算为大数据提供了基础承载,进而为数据创新提供了强有力的支撑。

当下,我们的世界正由IT时代跨入DT时代,数据处理技术(DT)的广泛应用大大加快了政府、城市及各行业的数字化转型进程。在这一过程中,起到根本性作用的并不是某一项技术,而是云计算所主导的平台化、数据化的创新模式,以及在云平台支撑下所释放出来的数据创新潜力。我们看到:浙江的“最多跑一次”改革,通过数据创新重塑了政府的组织、业务和服务模式,并直接推动了体制的改革,这是传统政务信息化所无法做到的;杭州的“城市大脑”通过运用数据智能技术,让城市变得会思考;阿里云搭建的supET工业互联网平台,让企业数字化转型不再是一个“大工程”,只需要“万级”的投入,就可以完成一座小型数字工厂的改造。

“弹性”是云计算的核心特征之一。“弹性计算”是云理念、云模式的基础支撑,它直接影响云平台的效率与成本、服务与扩展能力、安全性与稳定性。因此,“弹性计算”领域的能力可以在一定程度上反映一家企业的云技术实力和云服务能力。

这本书梳理并总结了阿里云在这一领域十年来的创新经验与成果,希望能帮助读者更加深入地了解云计算,同时让大家对数字时代的创新有新的认识。

张建锋(行癫)

阿里云智能总裁

2020年7月于杭州

推荐序4

云计算是一个比较宽泛的概念,本书讨论的弹性计算则更加聚焦,我认为云计算的核心就是弹性计算。

2020年初的新冠疫情期间,教育、直播类公司业务出现了爆发性的增长,其中使用了云计算的公司业务发展比较顺利,关键的计算、存储、网络资源,只需要动动鼠标就可以获得;相反,没有使用云计算的公司则遇到了诸多困难,如很难买到服务器,买到的服务器无法搬进托管数据中心等,不一而足。这个时候,云计算不只是解决了计算的弹性问题,更重要的是在关键时刻有效解决了业务连续性问题。另外,弹性计算更优雅地解决了服务器宕机的问题,经常有使用弹性计算的用户反馈,为什么你提供的虚拟机这么稳定,用了三四年,也没有出现过一次宕机?这主要得益于云计算是进行中心化管理的,有规模化的优势,可以充分利用大数据技术、AI技术进行宕机预测,做提前的热迁移,将宕机率拉低到物理机的十分之一,甚至更低。

云计算对于开发者来说将是一片新的天地。有人问我把代码部署到物理服务器上和部署到云计算的虚拟机上有什么区别?本质上计算指令没有任何变化,代码部署没有任何区别,但如果你是一位架构师或者立志要成为架构师,架构上发挥的空间则区别很大。部署到云计算的虚拟机上,在业务遇到突发峰值的时候,可以快速进行弹性扩容,在峰值下降的时候可以释放弹性资源;通过计算和存储分离架构,按需进行扩容,避免了类似数据库服务器往往要提前三年规划的窘境。有些公司的工程师利用云上碎片资源“抢占计算”,通过架构拼装出稳定可控的大数据计算资源,使得大数据的计算成本大幅度下降。很多创新的架构玩法,往往出乎我们的意料。

云计算也使得中国的很多软件产业有了“换道超车”的机会,比如数据库软件、存储软件等都得到了快速的发展。在北美,传统的数据库和存储公司已经面临云计算公司非常严峻的挑战,这个趋势正在加速且不可逆转。同样,中国也在发生类似的事情。

拥抱云,拥抱未来!

蒋江伟(小邪)

阿里云高级研究员

2020年7月于杭州

推荐序5

弹性计算拓展云计算边界

如今,云计算发展如火如荼,从基础设施即服务的IaaS,到平台即服务的PaaS,再到软件即服务的SaaS,真可谓“一切皆可云”的节奏。云也已经成为新时尚的代名词,被广泛应用在各行各业中。如果一个科技类产品和云搭不上边,就会被认为是落后的产品。当然,回顾发展历程,不难看出云计算已经在悄然改变着人们使用IT的方式,也大大提升了社会的资源利用效率,并降低社会的创新成本。

过去十多年间,业界涌现出一批以阿里云等为代表的云计算业务提供者。云计算公司通过提供数百种产品,为用户提供云的服务能力。在这些产品中,云计算公司的第一款商业化产品往往都是弹性计算。顾名思义,弹性计算是能够给用户提供弹性的计算资源和计算能力的一种服务,也是IaaS的具体产品形态。它从根本上改变了传统IT时代计算资源的获取方式。

从产品本质上讲,弹性计算是把IDC、网络、服务器等IT资源通过虚拟化等技术进行池化,形成计算、存储和网络等资源池,从而在资源池里形成更强大的资源弹性能力,同时也达到了更好的资源利用率,进而降低IT资源的使用成本。从调度层面讲,弹性计算也要解决资源的大规模调度问题,通过自动化、智能化,以及全局化的调度能力,满足用户对各类资源的需求,并能够在几分钟内完成数万台资源的购买部署和组装交付。

从虚拟化的技术视角来看,弹性计算把一台台冷冰冰的标准物理服务器虚拟成灵活的、具备规格伸缩能力的虚拟服务器,在此基础上,网络和存储等能力都可以进行非常灵活的弹性伸缩,如挂载多少块盘,每块盘的容量大小,挂载多少块网卡,以及每块网卡的性能,都可以通过软件的模式进行定义和伸缩。从体验方面看,一切资源的获得都可以通过编写程序来轻松完成,让企业不再花费大量的时间和精力在IDC租赁、服务器采购、专线租赁,以及烦琐的硬件运维中,云计算的用户能够完全聚焦在自身业务的创新和突破上,提升企业的运转效率。

我是在2005年开始接触云计算,从最早的Xen、KVM等虚拟化核心技术做起的。彼时,云计算的概念还没有完全成形,直到国外巨头及阿里云等公司开始推出商业化的云服务,才开始形成当下所谈的云计算体系。对我个人来讲还是比较幸运的,在云计算爆发的前期,从事了虚拟化技术这一云计算的核心技术研究,也见证了以虚拟化为核心的IaaS类云产品的诞生过程。2014年,我加入阿里云,亲历弹性计算产品的成长阶段,“吃透”了弹性计算这款产品,使我可以以更全面的视角来理解云计算的价值。过去六年,弹性计算产品经历了一次次的技术升级和革新。随着核心技术的升级,尤其是近三年“神龙架构”在弹性计算的全面落地,阿里云弹性计算产品的竞争力变得越来越强,具备了承接各种超大型业务运行的能力,让一切业务都可以基于弹性计算产品来构建。2019年“双11”天猫购物节,弹性计算产品承接了100%的“双11大促”核心交易流量,保障了购物如丝般顺滑的体验。

纵观过去十多年的发展,随着核心技术的不断创新、应用的升级及规模化,弹性计算产品作为云计算的最基础产品,已经具备满足通用计算、大数据及人工智能等所有领域计算力的能力,也正在帮助数千万企业实现IT的自动化、数字化,以及智能化转型。

希望读者通过这本书能够更好地了解弹性计算的产品和技术,让我们一起期待更棒的弹性计算产品,共同拓展云计算的边界!

张献涛(旭卿)

阿里云研究员

2020年7月于杭州



前??言

何为弹性计算

阿里云弹性计算立项已十年有余,其极为庞大的产品与技术体系已为各行业超百万的企业提供了IT基础设施服务,满足了传统IT基础设施所不能满足的各行业快速变化的竞争需求,无论是在创新成本、创新时效,还是灵活性上。弹性计算通过虚拟化中间层隔离了软件与硬件,降低了用户应用软件对于某台具体物理设备的紧耦合性,从而整合池化了海量硬件资源。

弹性计算通过大规模自动化集约运维技术,更好地保障安全性和业务连续性;通过弹性伸缩降低成本,提升业务交付敏捷度;通过API化让基础设施的管理、运维自动化,简化了IT系统维护的复杂度,大幅降低运维成本。为了帮助读者更容易理解整体脉络,这里尝试从云服务商核心价值的角度,抽象出弹性计算产品的三重身份。

身份一:制造商

弹性计算先将IDC、物理网络、各种服务器、计算资源和存储资源经过网络虚拟化、切割、封装、生产等流程生成一台台的不同规格族、不同规格粒度的云服务器,再将这些云服务器通过互联网的方式交付给用户使用。由于在场景上需要覆盖通用计算、异构计算和高性能计算,映射不同规格的实例,所以,底层需要有各式各样的服务器作为支撑。其中,通用计算除了传统的强者Intel,还有国产品牌及ARM等;异构计算更是百花齐放,如GPU、FPGA、NPU,除了服务器本身的计算芯片和配置对计算场景的覆盖,它们还完成了核心技术从“标准硬件+系统软件”向专有芯片和硬件方面的加速演进,比如类似弹性计算底层的“神龙架构”在存储和网络虚拟化的硬件卸载方面,正在让性能和成本走向下一个时代。

同时,产品方面,除了主流的VM形态,在裸金属、专有宿主机(DDH)、弹性容器实例(ECI)等不同领域的计算单元封装形态上,针对用户使用场景的创新也层出不穷。从制造商角度来讲,弹性计算的核心问题就是质量、性能和成本,即在规模上利用自研的软硬件技术、系统与平台技术,结合供应链的能力提升计算单元制成品的性能,并且在提升质量的同时降低各种成本。从用户可以定制化、柔性生产和秒级交付这个角度来看,弹性计算具备了工业互联网的所有特征。

身份二:运营商

弹性计算预先铺设了大规模的Region、IDC、网络、服务和基础设施,通过飞天云操作系统构建了一个巨大的、相互连接的计算资源池,对其再加以调度和库存管理。在计量计费多租户支撑体系对这个资源池的管理和切割的前提下,弹性计算的按量付费,如资产购买的包年包月和预留实例券(RI),以及闲置库存变现的Spot抢占式实例等灵活的计算力获取方式,让弹性计算得以灵活地交付计算资源。从运营商身份来讲,弹性计算更多地通过智能调度体系对这个预先铺设的池子进行容量管理,在保障每个租户SLA的前提下,让资源利用率最大化。在满足用户对广泛的计算力的覆盖要求,以及用户业务峰谷对弹性的要求的同时,控制好成本。除了平台技术,核心要素就是规模,只有上了规模才能让弹性计算在成本和弹性体验中取得一个有效的平衡。

身份三:服务商

客户购买计算力后,我们需要通过极为强大的、数据驱动的运维平台,给其提供不宕机的计算服务。

监控、日志和异常事件体系可提升计算的透明度和客户的安全感;强大的管控系统,通过API展现对计算力的创建、管理和运维的原子控制力,提升用户对计算单元的控制力;在这些原子API之上,构建自动化部署编排(Infrastructure as Code)、自动化运维编排(Operation as Code)和自动化弹性编排(Elastic Automation)等一系列平台支撑服务。基于这些平台支撑服务,通过叠加容器服务和函数计算及其他运维产品构建了垂直栈上完整和高效的计算力交付能力。

管理和运维服务方式多数免费,让云上云下企业IT在DevOps效率发生革命性变化,最终让用户使用计算服务,和使用水电一样方便,这一系列的平台支撑服务功不可没。对服务商身份来讲,弹性计算服务的覆盖、质量、效率和体验就是核心要素。

何为本书

弹性计算作为核心的云计算服务之一,通过一种灵活、动态、集成的,以及能够为企业提供实时弹性计算力的IT模式,已经为各行各业超过百万规模的企业提供了服务。在弹性计算已经进化成为极为庞大的产品与技术体系的当下,我们想对这些产品和技术的精髓,在本书中进行一个系统的梳理、沉淀和呈现,力争让本书成为大家在云计算时代披荆斩棘的利器。

本书以“产品+技术”的写作形式全面地阐述了计算、存储、网络,以及成本、运维和安全六大核心内容,也分别代表了阿里云弹性计算这个产品技术体系的六大核心领域,每一章均由各领域的领军人物撰写。与其说他们是领军人物,更确切地说,是奋战在云计算一线的、和阿里云一起成长起来的战士们,他们把自己日常冲锋和奋战的经验精华融入每一章当中,在背负业务压力、密集地进行线上架构和产品迭代的同时,也对这本书倾注了不少的心力、脑力和体力。

另外,本书还对弹性计算是否已经实现了基础设施的“无感”使用,未来还有哪些需要做深、做厚的地方等问题进行了展望,更提供了三个阿里云真实的客户案例,供大家在实践中参考,赋能企业决策者提升运用云计算的能力,加速拥抱数字化转型的信心。本书可以被看成阿里云弹性计算的研发成果合集,更可以被视为诸多客户上云实践的总结和抽象。

云计算的概念本身是完美的,作为置身其中构建这个产品体系的技术人,我这些年最大的感受就是:云计算的核心技术不仅需要从书本上和开源软件里学;更需要非常务实地去解决一个个客户工单,去复盘一个个故障,去踏踩一个个“坑”,不断去分析每个问题细节找到根本原因;再在工程、架构和代码上不断迭代。既需要紧扣客户痛点和需求,同时还需要有一份傻傻的坚持。

最后,我谨代表本书的作者们,向所有陪伴我们成长的用户和开发者们致敬,也向当前正在及历史上曾经工作在弹性计算领域的工程师们致敬。正是广大用户的不离不弃,以及一代代的弹性计算人的前仆后继、浴血奋战,才成就了本书,以及本书描述的产品和技术体系。

蒋林泉(雁杨)

阿里云研究员

2020年7月于杭州