数据中心一体化最佳实践：设计仓储级计算机

AI技术的出现和普及使得机器智能往前跨了一大步，这同时也对数据中心的算力能力提出了更高的要求。随着摩尔定律脚步的放缓，依赖传统的通用CPU已经无法满足复杂的深度学习网络的算力要求，GPGPU和专用AI芯片在数据中心的比重也因此变得越来越高，有效缓解了“算力赤字”的问题，而本书中谷歌TPU的系统设计从芯片到整机再到集群的完美契合正是当代数据中心一体化实践的案例。

本书介绍了仓储级计算机（WSC）的设计。这种计算平台是云计算的核心，支撑着我们每天都在使用的各种强大的互联网服务。书中讨论了此类新型系统如何将数据中心本身当作一台超大规模的仓储级计算机来使用，同时又能使软硬件充分协同并提供高性能的互联网服务。每一章都涵盖多个真实世界的案例，其中包括详尽的谷歌在线服务的基础设施信息

全书共分8章。第1章为绪论，概述仓储级计算机及其架构；第2章首先总体介绍WSC中运行的应用，以及包括平台层软件、集群层基础软件、监控和管理软件在内的系统基础设施技术栈；第3章涵盖关键的硬件组件，重点讨论服务器和加速器组件、存储架构和数据中心网络设计，以及计算、存储和网络之间的相互作用；第4章着眼于更底层的系统设计，重点关注数据中心电力、冷却基础设施和建筑的设计；第5章讨论能耗和能效相关的话题，包括稳定测定能效的挑战、衡量数据中心能效的电力使用效率以及电力超额配置的设计和好处；第6章讲解如何对WSC的TCO进行建模，其中包括资本支出和运营支出，并通过案例比较传统计算机和WSC计算机；第7章讨论正常运行时间和可用性，包括如何对故障进行分类以及故障处理、维修优化的方法；第8章总结历史趋势并展望未来——WSC和云计算将成为主流和中心。

本书主要面向当今WSC系统的架构师和程序开发人员，希望能为有志于在此重要领域发展的人员打下一个坚实的基础，同时相关的内容也适用于那些仅想了解互联网基础设施信息的人群。

作者简介

路易斯·安德烈·巴罗索（Luiz André Barroso） 谷歌研究员、ACM会士，也是AAAS会士。目前领导着谷歌地图的工程基础设施工作，曾是谷歌平台工程团队的*一任经理，负责设计公司的计算平台。在网页搜索、基础软件、存储可用性、能效和硬件设计多个工程领域都有涉猎。

乌尔斯·霍尔兹勒（Urs Hölzle） 谷歌首位工程副总裁，自1999年以来一直领导着谷歌技术基础设施的开发。他目前的职责包括服务器、网络、数据中心以及基础软件的设计与运维，以支持谷歌内部和对外的云平台。他是ACM和AAAS会士、瑞士技术科学院和国家工程院的成员，并在美国的世界自然基金会的董事会任职。

帕塔萨拉蒂·兰加纳坦（Parthasarathy Ranganathan） 谷歌计算和数据中心硬件领域的技术带头人。此前，他曾是惠普实验室的研究员和首席技术专家，领导着系统和数据中心的研究。他发表了大量的论文，作为共同发明人的专利超过100项。他还是ACM SIGARCH Maurice Wilkes奖的获得者以及莱斯大学杰出青年工程校友奖得主。Partha目前是谷歌的杰出工程师、IEEE和ACM会士。


译者简介
徐凌杰，阿里云资深技术专家，负责包括GPU和AI芯片在内的数据中心异构计算基础设施，专注于架构与应用的软硬件协同。在加入阿里巴巴之前，他曾在NVIDIA、AMD和三星担任过多个大型GPU芯片项目的高级管理和架构师职位。他本科就读于上海交通大学信息工程专业，后赴美在德州大学奥斯汀分校获计算机体系结构硕士学位，并拥有加州大学伯克利分校的MBA学位。

5G时代的到来，意味着万物互连后带来的数据大爆炸和数据来源的更加多样，而传统的超算中心和新兴的互联网企业都有日益旺盛的算力需求，在人工智能、大数据、云计算、区块链、边缘计算等新一代信息技术迅猛发展的大趋势下，他们也在向彼此靠拢、相互融合、创新发展。数据中心一体化设计正是应对多样化工作负载融合创新的重要创新成果，值得每一位致力于此领域的研究人员和从业者认真思考和学习。

——张云泉，中国科学院计算技术研究所研究员、中国计算机学会高性能计算专委会秘书长、ACM 中国高性能计算专家委员会主席

今天，以谷歌、亚*逊、阿里等为代表的公司和机构，把成千上万的“电脑”以奇妙的方式组合起来，通过集中的方式、基于海量的数据，给世界上各种组织与个人提供“无穷”的计算与存储资源，从而为人类提供各式各样的信息服务。这本书以谷歌的实践和理解出发，结合世界上*先进的计算机系统与体系结构领域的进展，给读者展示了这样一个“巨型电脑”的软硬件组成、核心要素、评价指标、成本分析以及未来发展趋势。如果你也想“造”一个这样的“巨型电脑”，那这本书一定应该在你的必读书目里！

——汪玉，清华大学教授

超大规模云数据中心是当前支撑互联网和人工智能发展的*重要的基础设施，徐凌杰是这个领域的专家，他专业精到的译文让我们可以快速领略这个领域*前沿的进展。

——刘军，浪潮集团人工智能与高性能计算总经理

AI终究会超*人的大脑，因为其结构与功能可迅速迭代优化，从而提升规模效率。徐凌杰是一位杰出的架构师，他的这本译作将谷歌数据中心作为仓储计算机的秘诀拆解到了末梢。开源精神、严谨的算法框架与技术解决方案，值得AI业者参考。

——杨静，新智元创始人

译者序
致谢
作者简介
译者简介
第1章　绪论1
1.1　仓储级计算机2
1.2　规模化下的成本效益3
1.3　不仅是服务器的简单堆砌4
1.4　单个数据中心与多个数据中心4
1.5　为什么WSC对你至关重要5
1.6　WSC架构概述6
1.6.1　服务器6
1.6.2　存储7
1.6.3　网络结构8
1.6.4　建筑与基础设施9
1.6.5　电力使用11
1.6.6　故障与维修处理12
1.7　本书概述12
第2章　工作负载与基础软件15
2.1　WSC系统栈15
2.2　平台层软件16
2.3　集群层基础软件17
2.3.1　资源管理17
2.3.2　集群基础软件18
2.3.3　应用框架18
2.4　应用层软件19
2.4.1　工作负载多样性19
2.4.2　网页搜索20
2.4.3　视频服务22
2.4.4　学术文章相似度搜索23
2.4.5　机器学习24
2.5　监控基础设施27
2.5.1　服务层仪表盘27
2.5.2　性能诊断工具27
2.5.3　平台层健康监控28
2.6　WSC软件的权衡29
2.6.1　数据中心和台式机29
2.6.2　性能与可用性工具箱30
2.6.3　购买还是自建32
2.6.4　长尾容忍33
2.6.5　工程师应该知道的延迟数据33
2.7　云计算35
2.7.1　面向公有云服务的WSC和对内服务的WSC36
2.7.2　云原生软件36
2.8　仓储级信息安全37
第３章　WSC硬件组件39
3.1　服务器硬件39
3.1.1　服务器和机架概述40
3.1.2　大型SMP通信效率的影响43
3.1.3　高性能服务器和低性能服务器45
3.2　计算加速器48
3.2.1　图形处理器49
3.2.2　张量处理器50
3.3　网络52
3.3.1　集群网络52
3.3.2　主机网络56
3.4　存储57
3.4.1　硬盘托盘与无盘服务器57
3.4.2　WSC非结构化存储58
3.4.3　WSC结构化存储59
3.4.4　存储与网络技术相互作用60
3.5　平衡的设计61
3.5.1　系统平衡：存储层次结构62
3.5.2　量化延迟、带宽及容量62
第4章　数据中心基础：建筑、电力与冷却65
4.1　数据中心概述65
4.1.1　等级分类与规格65
4.1.2　建筑基础知识66
4.2　数据中心电力系统68
4.2.1　不间断电源系统68
4.2.2　配电单元69
4.2.3　交流与直流配电架构对比70
4.3　应用实例：冗余径向配电71
4.4　应用实例：中压电源层72
4.5　数据中心冷却系统74
4.5.1　机房空调系统76
4.5.2　冷水机组77
4.5.3　冷却塔77
4.5.4　自然冷却79
4.5.5　对气流的考量79
4.5.6　机架内冷却、行级冷却和液体冷却81
4.5.7　基于集装箱的数据中心82
4.6　应用实例：谷歌数据中心顶部冷却系统84
4.7　本章小结84
第5章　能耗与能效85
5.1　数据中心能效85
5.1.1　PUE指标86
5.1.2　PUE指标的问题88
5.1.3　数据中心能效损失来源89
5.1.4　提升数据中心能效90
5.1.5　基础设施之外的因素91
5.2　计算能效92
5.2.1　能效的测量92
5.2.2　服务器能效92
5.2.3　WSC使用画像93
5.3　能耗成比例计算95
5.3.1　能耗成比例程度低的原因96
5.3.2　提升能耗成比例的能力97
5.3.3　系统其他部分的能耗成比例98
5.3.4　低功耗模式的相对有效性99
5.3.5　软件在能耗成比例中的作用100
5.4　通过专用定制提高能效103
5.5　数据中心供电105
5.5.1　部署适量的设备105
5.5.2　数据中心超额用电105
5.6　服务器能量使用趋势107
5.7　本章小结109
第6章　成本建模111
6.1　资本成本111
6.2　运营成本113
6.3　案例分析114
6.4　实际数据中心成本116
6.5　建模部分使用的数据中心117
6.6　公有云成本118
第7章　故障处理与维修119
7.1　软件容错120
7.2　故障分类121
7.2.1　故障严重性分级122
7.2.2　导致服务级故障的原因123
7.3　机器级故障124
7.3.1　导致机器级故障的原因127
7.3.2　故障预测128
7.4　维修129
7.5　容错不是隐藏错误130
7.6　集群系统设计的故障统计131
第8章　结束语135
8.1　硬件136
8.2　软件137
8.3　经济性与能效138
8.4　打造响应快速的大规模系统139
8.4.1　不断演进的工作负载139
8.4.2　残酷的阿姆达尔定律139
8.4.3　为微秒级系统优化140
8.4.4　长尾140
8.5　展望141
8.5.1　摩尔定律的终结141
8.5.2　加速器与全局系统设计141
8.5.3　软件定义基础设施142
8.5.4　计算机体系结构和WSC的新纪元143
8.6　总结144
参考文献145

译　者　序

“数据中心”这一名词为人们所熟知已有几十年的历史，而云计算作为构建在此之上的一场产业革命，正在改造着社会的各行各业。现如今，云计算早已被应用于社会管理和民生服务的方方面面，而互联网公司作为云计算最早的推动者和受益者，正在依靠数据技术和算力能力把云计算打造成商业创新的基础设施。

IaaS（Infrastructure as a Service，基础设施即服务）无疑是当今云计算最重要的组成部分，它通过整合计算、存储和网络资源降低硬件和运维成本，同时利用云本身的弹性实现灵活性，从而为用户带来可观的经济收益。云计算将传统的企业IT转移到云上，把“共享”的概念体现得淋漓尽致，毫不夸张地说，这种“规模化下的经济效益”是商业模式创新的巨大成功。

然而，云计算更是一场技术革命，依托云IaaS的底层技术重构基础软件和顶层应用正是大势所趋，容器、微服务和函数计算所代表的正是云原生（Cloud Native）设计理念的核心。以互联网服务为代表的大型应用，由于其规模大、算力高，加之对延迟和可用性有要求，使得应用开发者从设计之初就必须考虑云基础设施的特性，把数据中心高效地当作一台计算机来使用，即Datacenter as a Computer（数据中心即计算机），这是一个庞大的系统工程。

开放和互通则是云计算的另一张名片。放眼世界，无论是谷歌、亚马逊，还是阿里巴巴，这些互联网公司无一不是在体量达到了一定规模之后，把自有的技术体系开源、开放，再通过云计算的形式普惠给更多的中小企业。PaaS（Platform as a Service，平台即服务）不仅可以让云上的用户根据业务情况来快速构建最适合自己的系统，更能通过其强大的基础软件能力屏蔽底层的硬件差异和细节，让开发者更专注于顶层的业务逻辑。通过开源和开放打破自有的、封闭的技术体系，让全社会、全世界的经验积累变得更加通用，让地球变平，是云计算带来的更大变革。

AI技术的出现和普及使得机器智能往前跨了一大步，这同时也对数据中心的算力能力提出了更高的要求。随着摩尔定律脚步的放缓，依赖传统的通用CPU已经无法满足复杂的深度学习网络的算力要求，GPGPU和专用AI芯片在数据中心的比重也因此变得越来越高，有效缓解了“算力赤字”的问题，而本书中谷歌TPU的系统设计从芯片到整机再到集群的完美契合正是当代数据中心一体化实践的最佳案例。

5G时代的到来同样给数据中心的设计者提出了新的挑战，无处不在的移动互联网、AIOT产生的源源不断的海量数据都必将让我们重新审视数据中心现有的计算、存储和网络架构——仓储级的数据中心是否仍然适用于边缘场景？未来的不确定性更意味着无限的可能，这也正是云计算黄金时代的开端。

中国经济的未来在于数据技术与释放生产力的结合，这将给激发内需带来跨越式的发展机遇，而云计算则将成为必不可少的商业基础设施资源。翻译本书的初衷也正是在于传播知识、分享观点和探讨未来，希望本书能通过诸多数据中心一体化的最佳实践给各位云计算行业的从业者带来启发。

最后，特别感谢在本书翻译过程中给予我帮助的各位同事和朋友，以及华章公司的关敏编辑，是你们的反馈和专业的指导使得本书能够更加贴合原著思想地与各位读者见面。

徐凌杰

2019年11月12日 于杭州