工业大数据分析在流程制造行业的应用

“十三五”以来，中石油、中石化、万华化学、华谊化工、国家电网、宝武钢铁等国内流程行业领头者开展了数字化、智能化建设，加快数字化油田、智能炼厂、智慧电网、智慧炼钢等建设。信息化与自动化互相交织融合，积累了大量的工业数据，给以油田开发、石油石化、化工、钢铁、电力为代表的流程工业带来了新的挑战与机遇，也为其创新带来了新的技术能力。本书以大数据治理、大数据分析为主线，以油气开发、石油石化、化工、钢铁、电力为代表的流程工业大数据创新为分支，详细阐述了大数据分析在流程工业中的应用案例和今后的发展趋势。为广大的流程工业界研究人员、企业管理者、工程技术专家提供了一本不可多得的涵盖数字化转型、大数据分析的学习材料。

张晨，上海交通大学信息系统博士，高级工程师。在上海赛科石油化工公司担任IT部总经理。出版专著《信息系统项目治理理论与实践》。在《系统管理学报》等发表论文5篇。论文《机器学习在石化行业设备预测上的应用》等获得中国石油学会2018年信息技术大会论文一等奖。《大数据在设备健康预测和备件补货中的应用 》被《中国机械工程》2019年第2期录用刊登。蒋若宁长期从事化工信息化规划和设计工作。参与国家重点项目计算机集成制造项目（CIMS）的实施和有关智能工厂建设方案设计和规划工作。参与完成上海市科委《大数据挖掘和云计算技术在氟化工生产过程中的应用》等项目。何冰，上海交通大学应急管理博士，国网上海市电力公司检修公司高级工程师，国家电网公司级优秀专家、上海市五一劳动奖章获得者、上海市首席技师，长期从事电网智能运维检修及大数据分析工作。已获得上海市科技进步奖二等奖等省部级科技奖励10项，在SCI、EI、中文核心期刊发表论文十数篇，公开出版著作两部。

第1章 流程工业智能制造与数字化转型 / 001
1．1 新一轮智能制造发展战略 / 003
1．1．1 德国工业4．0与流程工业智能制造 / 003
1．1．2 美国工业互联网与流程工业智能制造 / 004
1．1．3 “中国制造2025”与流程工业智能制造 / 004
1．1．4 各国流程工业智能制造的差异和启示 / 006
1．2 流程工业数字化转型战略 / 007
1．2．1 流程工业概述 / 007
1．2．2 流程工业数字化转型的需求 / 008
1．3 大数据分析和流程工业智能制造 / 009
1．3．1 大数据的内涵 / 010
1．3．2 大数据和人工智能的关系 / 011
1．3．3 工业大数据与流程工业智能制造 / 012
第2章 工业大数据分析基础 / 017
2．1 工业大数据治理 / 017
2．1．1 工业大数据应用面临的挑战 / 017
2．1．2 应对方法 / 019
2．2 流程工业大数据治理案例 / 020
2．2．1 跨国石油公司大数据治理 / 020
2．2．2 国内石油公司大数据治理 / 027
2．3 大数据采集技术 / 034
2．3．1 Apache Sqoop / 034
2．3．2 Apache Flume / 035
2．3．3 Gobblin / 037
2．4 大数据存储技术 / 038
2．4．1 HDFS / 039
2．4．2 NoSQL数据库 / 042
2．5 大数据分析技术 / 045
2．5．1 MapReduce / 049
2．5．2 Spark / 049
2．6 大数据可视化技术 / 051
2．6．1 Tableau / 051
2．6．2 Google Chart / 052
2．6．3 D3．js / 052
2．7 大数据分析方法 / 053
2．7．1 大数据分析方法分类 / 053
2．7．2 大数据分析步骤 / 054
2．7．3 数据挖掘方法 / 055
第3章 天然气开发行业的大数据分析 / 059
3．1 天然气开发行业信息化现状 / 059
3．2 天然气开发行业的大数据分析需求 / 061
3．3 天然气开发行业的大数据来源与特点 / 064
3．4 天然气开发行业的大数据解决方案 / 064
3．4．1 大数据获取 / 064
3．4．2 大数据监控 / 065
3．4．3 大数据可视化 / 066
3．5 天然气开发行业的大数据分析方法 / 067
3．5．1 天然气开发风险预防性分析方法 / 067
3．5．2 设备性能退化分析方法 / 069
3．6 天然气开发行业的大数据分析案例 / 071
3．6．1 应用场景 / 071
3．6．2 天然气水合物大数据预测应用案例 / 075
3．6．3 压缩机故障大数据预防性监控应用案例 / 077
3．6．4 换热器早期泄漏大数据监控应用案例 / 079
3．7 总结 / 080
第4章 炼油化工行业的大数据分析 / 082
4．1 炼油化工行业信息化现状 / 082
4．2 炼油化工行业的大数据分析需求 / 085
4．2．1 油田勘探与生产制造环节 / 085
4．2．2 研发设计环节 / 087
4．2．3 市场营销与售后服务环节 / 088
4．2．4 HSE评价体系的需求 / 088
4．3 炼油化工行业的大数据来源与特点 / 090
4．3．1 炼油化工行业大数据来源 / 090
4．3．2 炼油化工行业大数据特点 / 091
4．4 炼油化工行业的大数据解决方案 / 092
4．4．1 炼油化工企业存在的问题 / 092
4．4．2 工业大数据平台架构方案 / 093
4．5 炼油化工行业的大数据分析方法 / 096
4．6 炼油化工行业的大数据分析案例 / 097
4．6．1 应用场景 / 097
4．6．2 应用案例 / 098
4．7 总结 / 100
第5章 化工行业的大数据分析 / 101
5．1 化工行业信息化现状 / 101
5．2 化工行业的大数据分析需求 / 102
5．3 化工行业的大数据来源与特点 / 103
5．4 化工行业的大数据解决方案 / 104
5．5 化工行业的大数据分析方法 / 106
5．6 化工行业的大数据分析案例 / 108
5．6．1 应用场景 / 108
5．6．2 应用案例 / 116
5．7 总结 / 127
第6章 钢铁行业的大数据分析 / 129
6．1 钢铁行业信息化现状 / 130
6．2 钢铁行业的大数据分析需求 / 130
6．2．1 经营管理与生产管理的需求 / 131
6．2．2 技术进步与发展的需求 / 132
6．3 钢铁行业的大数据来源与特点 / 133
6．4 钢铁行业的大数据解决方案 / 134
6．5 钢铁行业的大数据分析方法 / 138
6．6 钢铁行业的大数据分析案例 / 141
6．6．1 应用场景 / 141
6．6．2 应用案例 / 143
6．7 总结 / 154
第7章 电力输电线路运维的大数据分析 / 155
7．1 电力输电线路运维信息化现状 / 155
7．2 电力输电线路运维的大数据分析需求 / 156
7．3 电力输电线路运维的大数据来源与特点 / 157
7．3．1 电力输电线路运维的大数据来源 / 157
7．3．2 电力输电线路运维的大数据特点 / 158
7．4 电力输电线路运维的大数据解决方案 / 159
7．5 电力输电线路运维的大数据分析方法 / 159
7．5．1 面向设备状态大数据的分布式存储和处理技术 / 160
7．5．2 电力运维行业的数据ETL技术 / 161
7．5．3 电力输电线路的数据挖掘分析技术 / 161
7．6 电力输电线路运维的大数据分析案例 / 163
7．6．1 输电线路智能化反外损监控系统 / 163
7．6．2 基于位置信息大数据驱动的输电线路智能巡检系统 / 169
7．6．3 特高压输电通道无人机巡检系统 / 174
7．6．4 空、塔、地协同的输电线路智能巡检系统 / 177
7．7 电力输电线路运维大数据技术展望 / 181
7．7．1 基于区块链技术的输电线路反外损运维系统 / 182
7．7．2 基于社交网络用户激励的系统运营模式 / 182
7．7．3 电力物联网价值挖掘 / 185
7．8 总结 / 187
第8章 总结与展望 / 188
8．1 流程工业与互联网下半场的结合 / 188
8．2 流程工业需要建立大数据文化 / 189
参考文献 / 190
索引 / 197
致谢 / 201

20世纪80年代，美国未来学家阿尔文?托夫勒的划时代巨著《第三次浪潮》出版。在该书中，作者把人类文明进步划分为三次浪潮。第一次浪潮可追溯到农耕文明的开始。第二次浪潮发端于英国工业革命，伴随着蒸汽机的呼啸，人类进入了大工业时代。第三次浪潮则是以计算机技术为代表的自动化、信息化、智能化时代的到来。当前全球正处于信息技术迅猛发展的时期，世界各主要国家均把信息化发展战略作为国家发展战略的重要组成部分，纷纷制定信息化战略和政策以加快并深化信息技术的应用，注重通过信息技术的创新应用来培育新产业、新业态。全球经济社会已然进入一个全新的信息化驱动创新变革的时代。

进入21世纪以来，我国高度重视信息化工作，相继做出“中国制造2025”、“互联网+”行动计划、大数据战略、人工智能战略等系列部署，不断对信息化推动创新发展、转变经济发展方式、调整经济结构等提出新的更高要求。中国共产党第十九次全国代表大会明确提出“加快建设制造强国，加快发展先进制造业，推动互联网、大数据、人工智能和实体经济深度融合，在诸多领域培育新增长点、形成新动能”。经过多年发展，我国在信息化领域已经取得巨大进步，国家战略性信息基础设施有了质的提升。不少行业领域的信息化、智能化应用已经从“跟跑并跑”向“并跑领跑”升级。目前，我国已经建成了全球规模最大的宽带通信网络，形成了全球规模最大的移动电话与物联网用户群体，表现为4G技术得到广泛应用，5G技术也率先进入试用阶段。

我国目前拥有世界上规模最大的制造业。其中，以油气开发、石油石化、化工、钢铁、电力为代表的流程工业是关系国家经济命脉的重要行业。信息化既是企业提升效率和价值、进行改革和创新的重要手段，也是企业管理水平的重要标志。经过广大信息化工作者多年持续不断的努力，信息技术已在各业务领域得到广泛应用。信息化建设和应用水平不断提高，对企业发展的支撑作用日益明显。

“十三五”期间，中国石油、中国石化、中国海油、万华化工、华谊化工、国家电网、宝武钢铁等国内流程行业领头者，持续加强信息化建设，紧跟全球信息技术发展步伐，以信息化建设应用促进主营业务提质增效，以不同形式、在不同层面开展数字化、智能化建设，加快推进数字化油田、智能炼厂、智慧电网、智慧钢厂等的建设。流程工业具有连续性特点，并包含复杂的物理化学变化，人们在生产实践中很早就意识到仅仅依靠人力判断和控制是无法驾驭其生产过程的，因此自动化最早出现并应用于流程工业。随之而来的信息化又与流程工业的自动化相融合，形成了信息技术（Information Technology，IT）与自动化技术（Automation Technology，OT）的协同发展，积累了大量的工业数据。

信息技术的突破创新与网络经济的快速发展给以油气开发、石油石化、化工、钢铁、电力为代表的流程工业信息化建设带来了新的挑战与机遇，也为其业务创新带来了新的技术能力。同时，互联网的飞速发展促使计算能力呈几何级数的提升，为大数据提供了应用基础。激烈的全球化市场竞争推动了流程工业企业对于供应链、市场、生产组织的数字化转型，这又为大数据提供了应用场景。流程工业企业如果不进行数字化转型，不掌握大数据技术，不培养大数据人才，将无法迎接挑战或生存。

本书以大数据治理、大数据分析为主线，阐述了以油气开发、石油石化、化工、钢铁、电力为代表的流程工业中的大数据应用案例和发展趋势。本书涵盖数字化转型、大数据分析、智能制造，可供流程工业界研究人员、企业管理者、工程技术专家学习与参考。