电子书：《hadoop应用架构》《hadoop应用架构》郭文超译2017120
111
内容简介：
3.6列簇13.7 ttl4元数据管理14.1什么是元数据为什么元数据至关重要元数据的存储位置1.4.4元数据管理举倒1.4.5 hive metastore与 catalog的局限性4.6其他存储元数据的方式15结论第2章 hadoop数据移动21数据采集考量………2.1.1数采集的时效性2.1.3访问模式2.14数摑源系统及数据结构2.1.5变换2.1.7网络.安.全.性2.1.8被动推送与主动请求6662.1.9错误处理…372.1.10复杂度22数据采集选择丈件传输22.2文件传输与其他采集方法的考量22.3 swoop: hadoop与关系数据库的批量侍输22.4fume:基于事件的数据收集及处理23数据导出24小结第3章 hadoop数据处理3.1 mapreduce.3.11 mapreduce概述3.1.2 mapreduce示例3.13 mapreduce使用场景6673.2spark概述vi目录
32.3 spark基本概念324 spark的优.点32.5spak示例326spak使用场景3.3抽象层3.1pg3.3.3pig使用场景36790888s3.4 crunch…3.4.1 crunch示例2 crunch使用场景3.5 cascading5.1 cascading示例3.52 cascading使用场录9223.6.1hive概述3.6.3hive使用场景9987 impala3.7.2面向高速查询的设计3.7.3 impala示例mpala使用场景3.8小结第4章 hadoop数据处理通用范式41模式一:依主键移除重复记录464.1.1去重示例的测试数据生成4.1.2代码示例:使用 scala实现 spark去重4.13代码示例:使用sql实现去重42模式二:数据开窗分析4.2.1生成开窗分析的示例数据22代码示例:使用spak分析数据的高峰和低谷4.2.3代码示例:使用sol分析数据的高峰和低谷43模式三:基于时间序列的更新4.3.1利用 hbasc的版本特性4.3.2以记录主键与开始时间作 hbase的行键重写hdfs数据更新整个表4.3.4利用hdfs上的分区存傭当前记录和历史记录目录|ⅶi
4.3.5生成时间序列的示例数据4.3.7代码示例:使用sql更新时间序列数据第5章 hadoop图处理51什么是图5.2什么是图处理分布式系统中的图处理53.1块同步并行模型5.32bsp举例5.4 graph54.1数据的输入和分543将图回写磁盘544整体流程控制54.5何时选用 graph5.5.1另一种ri55.2 graphx的 pregel接5.5. 4 sendmessage(5.5 mergemessage()56工具选择第6章协调调度6.i工作流协调调度的必要性6.2脚本的局限性63企业级任务调度器及 hadoopdoop生态系统中的工作流框架65 oozie术语66 oozie概68工作流范式68.1点对点式工作流683分支决策式工作流69工作流参数化目录
胃度模式6.11.1依频次调度12时间或数据触发式612执行工作流第7章 hadoop近实时处7.2 apache storm7.2.1sorm高级架构722 storn拓扑737.2.4 spout和bolt5数据流分组7.2.6 storm应用的可靠性72.7仅处理一次机制7.2.8容错性72.9 storn与hdfs集成2.0sorm与 hbase集成stom示例:简单移动平均77.2.12stom评估3 trident接口3.1 trident示例:简单移动平均spark streaminspark streaming概迷74.2 spark streaming示例:简单求743 spark streaming示例:多路输入744 spark streaming示例:状态维护74.5 spark streaming示例:窗口函数74.6 spark streaming示例: streaming与etl代码比较74.7 spark streaming评估7.5fume拦截器6工具选择充、验证、报警及采集7.6.2nrt技术、滚动平均及迭代处理7.6.3复杂数据流
第二部分案例研究第8章点击流分析例场景定义8.2使用 hadoop进行点击流分析83设计概述8.4数据存储5数据采集收集器层108.6数据处理6.1数据去重6.2会话生成8.7数据分析18第9章欺诈检.测9.持续改善…9.2开始行动93欺诈检.测系统架构需求94用例介绍9.5架构设计9.6客.户.端架构97画像存储及访9.7.1缓存9.72 hbase数据定973事务状态更新:通过或否决9.8数据采集9近实时处理与探索性分析9.10近实时处理9.11探索性分析9.12其他架构对比9.122从kaka到 storn或 spark streaming…9.23扩展的业务規则引擎9.3小结
#############################################
