Alluo:大数据统一存储原理与实践pdf下载pdf下载

Alluo:大数据统一存储原理与实践百度网盘pdf下载

作者:
简介:本篇主要提供Alluo:大数据统一存储原理与实践pdf下载
出版社：
出版时间：2019-07-01
pdf下载价格：0.00￥

免费下载

前去下载

书籍下载

下载地址

内容介绍

   图书基本信息
图书名称 Alluo:大数据统一存储原理与实践 作者 范斌
定价 79.00元 出版社 电子工业出版社
ISBN 9787121367823 出版日期 2019-07-01
字数 页码 220
版次 1 装帧 平装-胶订
开本 16开 商品重量 0.4Kg

   内容简介
Alluo 这一以内存为中心的分布式虚拟文件系统，初诞生于加州大学伯克利分校的 AMPLab，其开源社区在目前大数据生态系统中发展很快。《Alluo：大数据统一存储原理与实践》以广泛使用的Alluo 1.8.1 版本为基础进行编写， 是一本全面介绍 Alluo 相关技术原理与实践案例的书籍。本书主要内容包括 Alluo 系统快速入门、 Alluo 系统架构及读写工作机制、Alluo 与底层存储系统的集成、Alluo 与上层计算框架的集成、 Alluo 基本功能和高级功能的介绍与使用。此外，本书还详细介绍了Alluo 的应用案例与生产实践， 并详细解读了 Alluo 的核心框架和技术应用，旨在为大数据从业人员和大数据存储技术爱好者提供一 个深入学习的平台，也可用作开源社区开发者指南。

   作者简介
范斌，Alluo开源项目的管理委员会成员和源码维护者，也是Alluo公司的创始成员并现任开源副总裁。加入Alluo项目之前, 范斌就职于谷歌山景城, 从事下一代大规模分布式存储系统的研究与开发, 并获得谷歌基础设施技术奖（Technical Infrastructure Award）。范斌2013年获得卡内基梅隆大学(Carnegie Mellon University)计算机系博士学位，博士期间从事分布式系统算法和实现，是CuckooFilter，MemC3以及高性能的多线程KV库libcuckoo的作者或联合作者，并在SIGM，SOSP，NSDI，CoNEXT等学术会议以及IEEE Transactions on Networking等学术期刊上发表论文。范斌著有多项专利，其学术研究成果在Alluo、谷歌、Facebook、英特尔、微软等高科技公司得到落地使用。顾荣，南京大学计算机科学与技术系助理研究员，并且是Alluo项目的管理委员会成员和源码维护者，于2016年获得南京大学计算机专业博士学位，主要研究领域为大数据处理技术与系统，发表国际期刊会议论文20余篇，包括IEEE TPDS、JPDC、IEEE ICDE、IEEE IPDPS、IEEE BigData、IEEE ICPADS等。部分研究成果已经在英特尔、百度、华泰证券、易购、华为、字节跳动等公司得到了落地使用，还有部分成果被主流开源大数据系统Apache Spark和Alluo官方版本集成发布。顾荣还担任多个学术期刊的审稿人、江苏省计算机学会大数据专委会秘书长、中国计算机学会系统软件专委会委员。

   目录
第 1 章 Alluo 系统快速入门  1 
1.1 Alluo 背景概述  1 
1.1.1 Alluo 系统功能简介  4 
1.1.2 Alluo 项目发展历史  5 
1.2 获取/编译 Alluo 软件  6 
1.2.1 下载预编译的 Alluo 可执行包  6 
1.2.2 编译 Alluo 源代码  6 
1.3 Alluo 的搭建部署及程序运行  10 
1.3.1 单机模式  10 
1.3.2 集群模式  13 
1.3.3 高可用集群模式  16 
第 2 章 Alluo 系统架构及读写工作机制  22 
2.1 Alluo 的构架简介与基本特征  22 
2.1.1 提升远程存储读写性能  23 
2.1.2 统一持久化数据访问接口  24 
2.1.3 数据的快速复用和共享  26 
2.2 Alluo 的系统功能组件  27 
2.2.1 Alluo Master 组件  27 
2.2.2 Alluo Worker 组件  29 
2.2.3 Alluo Client 组件  30 
2.3 Alluo 读写场景的行为分析  31 
2.3.1 Alluo 的读场景数据流  31 
2.3.2 Alluo 的写场景数据流  37 
第 3 章 Alluo 与底层存储系统的集成  40 
3.1 配置 HDFS 作为 Alluo 底层存储  40 
3.1.1 准备步骤与基本配置流程  41 
3.1.2 高级参数配置  43 
3.1.3 使用 HDFS 在本地运行 Alluo  44 
3.2 配置 Secure HDFS 作为 Alluo 底层存储  44 
3.2.1 准备步骤与基本配置流程  45 
3.2.2 使用安全认证模式 HDFS 在本地运行 Alluo  46 
3.3 配置 AWS S3 作为 Alluo 底层存储  47 
3.3.1 准备步骤与基本配置流程  47 
3.3.2 高级参数配置  49 
3.3.3 使用 S3 在本地运行 Alluo  51 
3.4 配置 Google GCS 作为 Alluo 底层存储  52 
3.4.1 准备步骤与基本配置流程  52 
3.4.2 高级参数配置  53 
3.4.3 使用 GCS 本地运行 Alluo  54 
3.5 配置 Azure BLOB Store 作为 Alluo 底层存储系统  55 
3.5.1 准备步骤与基本配置流程  55 
3.5.2 使用 Azure BLOB Store 本地运行 Alluo  57 
第 4 章 Alluo 与上层计算框架的集成  58 
4.1 Alluo 的管理员操作命令  58 
4.1.1 操作命令列表  59 
4.1.2 操作命令示例  59 
4.2 Alluo 的用户操作命令  61 
4.2.1 操作命令列表  62 
4.2.2 操作命令示例  65 
4.3 Alluo 与 Hadoop 操作命令行的集成  78 
4.3.1 前期准备与配置  78 
4.3.2 具体使用示例  79 
4.4 Alluo 与 Hadoop MapReduce 的集成  79 
4.4.1 前期准备与配置  80 
4.4.2 具体使用示例  82 
4.5 Alluo 与 Spark 的集成  83 
4.5.1 前期准备与配置  83 
4.5.2 使用 Alluo 作为输入/输出源  85 
4.5.3 Alluo 与 Spark 集成常见问题分析与解决  86 
4.6 Alluo 与 Hive 的集成  89 
4.6.1 安装并配置 Hive 环境  89 
4.6.2 使用 Alluo 存储部分 Hive 表  90 
4.6.3 使用 Alluo 作为默认文件系统（存储数据）  93 
4.6.4 检查 Hive 和 Alluo 的集成情况（支持 Hive 2.x）  95 
4.7 Alluo 与 Presto 的集成  96 
4.7.1 前期准备  96 
4.7.2 部署分发 Alluo 客户端 jar 包  98 
4.7.3 Presto 操作命令示例  98 
4.8 Alluo 与 TensorFlow 的集成  100 
4.8.1 深度学习面临的数据挑战  100 
4.8.2 基于 Alluo 解决深度学习存储问题的分析  101 
4.8.3 安装并配置 Alluo FUSE  102 
4.8.4 TensorFlow 使用 Alluo FUSE 管理访问数据  103 
第 5 章 Alluo 基本功能的介绍与使用  105 
5.1 Alluo 系统环境与属性的配置  105 
5.1.1 Alluo 系统组件参数的配置  106 
5.1.2 Alluo 客户端组件参数的配置  109 
5.1.3 Alluo 参数配置的相关工具  112 
5.2 Alluo 底层文件系统的配置与管理  113 
5.2.1 Alluo 挂载底层存储  113 
5.2.2 Alluo 与底层存储的元数据一致性保证  116 
5.3 Alluo 缓存资源的配置与管理  120 
5.3.1 配置 Alluo 缓存存储资源  121 
5.3.2 Alluo 缓存数据的载入、驻留及释放  126 
5.3.3 配置 Alluo 缓存数据的生存时间  127 
5.4 Alluo 系统 Web 用户界面的查看与使用  128 
5.4.1 Alluo Master Web 界面介绍  128 
5.4.2 Alluo Worker Web 界面介绍  134 
第 6 章 Alluo 高级功能的介绍与使用  137 
6.1 Alluo 的安全认证与权限控制  137 
6.1.1 Alluo 安全认证模式的介绍  138 
6.1.2 Alluo 访问权限控制的介绍  139 
6.1.3 Alluo 用户模拟功能的介绍  141 
6.1.4 Alluo 审计日志功能的介绍  142 
6.2 Alluo 的内置 Metrics 系统  143 
6.3 Alluo 文件系统日志的使用与维护  145 
6.4 Alluo 系统的异常排查  148 
Alluo： 大数据统一存储原理与实践 
第 7 章 Alluo 的应用案例与生产实践  152 
7.1 陌陌基于 Alluo 加速 Spark SQL 查询  152 
7.1.1 Alluo 缓存应用背景简介  153 
7.1.2 陌陌应用场景结合 Alluo 的分析  153 
7.1.3 基于 Alluo 的陌陌 Ad Hoc 查询系统架构  155 
7.1.4 基于 Alluo 的查询性能评估与分析  156 
7.1.5 陌陌在 Alluo 实战方面的后续实践  158 
7.2 京东基于 Alluo 和 Presto 构建交互式查询引擎  158 
7.2.1 京东大数据平台的业务问题背景  159 
7.2.2 Presto on Alluo 架构与特性的介绍  160 
7.2.3 Presto on Alluo 的性能评估与分析  161 
7.2.4 Presto on Alluo 的应用总结  164 
7.3 Alluo 在携程实时计算平台中的应用与实践  165 
7.3.1 携程实时计算的应用背景  165 
7.3.2 基于 Alluo 的跨集群数据共享方案与性能评估  168 
7.4 去哪儿网利用 Alluo 提升异地存储访问性能  169 
7.4.1 去哪儿网流式处理背景简介  170 
7.4.2 原有系统架构及相关问题分析  171 
7.4.3 基于 Alluo 改进后的系统架构介绍与性能评估  172 
7.5 百度基于 Alluo 加速远程数据读取  176 
7.5.1 百度跨机房数据查询问题的描述  177 
7.5.2 使用 Alluo 缓存远端数据的方案与效果  177 
7.5.3 使用 Alluo 分层存储的方案与效果  178 
7.5.4 基于 Alluo 提速远程数据访问的总结  180 
第 8 章 Alluo 的开源社区开发者指南  181 
8.1 Alluo 的源代码规范  181 
8.1.1 源代码风格要求  182 
8.1.2 Alluo 的单元测试  184 
8.1.3 Alluo 的日志系统  184 
8.1.4 Alluo 的 RPC 定义  186 
8.1.5 Alluo 文件系统日志消息  186 
8.2 Alluo 的单元测试流程介绍  187 
8.2.1 运行 Alluo 单元测试  187 
8.2.2 创建 Alluo 单元测试  188 
8.2.3 单元测试需要避免的情况  190 
8.2.4 Alluo 单元测试的全局状态管理  191 
8.3 贡献源代码至 Alluo 开源社区  193 
8.3.1 开发者的系统要求和环境准备  194 
8.3.2 下载 Alluo 源代码并配置开发者邮箱  194 
8.3.3 编译 Alluo 源代码  195 
8.3.4 领取一个开发者新手任务  196 
8.3.5 在本地副本中创建一个新的开发分支  196 
8.3.6 提交本地的 mit  197 
8.3.7 提交一个社区 Pull Request  198 
8.3.8 审阅社区 Pull Request  199 

   编辑推荐
Alluo创始人及实践先驱联合力荐
深度解密Alluo核心概念与技术应用
基于一线互联网企业真实案例技术剖析
项目PMC&Maintainer凝聚钻研实力与超前视野

   文摘

   序言