电子书：《实时大数据分析基于storm_spark技术的实时应用》_张广骏译_2018-01-01《实时大数据分析基于storm_spark技术的实时应用》_张广骏译_20180101
111
内容简介：
实时大数据分析——基于som、 spark技术的实时应用2.3.4bolt…2.3.5任务2.3.6工作者24 storm的架构及其组件24.2stom集群2.5如何以及何时使用 storm26stom的内部特性6.1stom的并行性62stom的内部消息处理222252222672.7本章小结第3章用 storm处理数据3.1 storm输入数据源3.2认识 kafka3.21关于 kafka的更多知识3.2.2 stom的其他输入数据源3.2.3 kafka作为输入数据源3.3数据处理的可靠性33.1锚定的概念和可靠性332stom的 acking框架34 storm的简单模式34.1联结342批处理35stom的持久性3.6本章小结第4章 trident概述和 storm性能优化使用 trident41.1事务41.2 trident拓扑990064.1.3 trident操作4.2理解lmax
4.2.1_内.存_和缓存42.2环形缓冲区——粉碎器的心脏4.3 storn的节点间通信4.3. 1 zeromq43.2stom的 zeromq配置4.3.3 netty44理解 storm ui4.4. i storm ui登.录页面4.4.2拓扑首页4.5优化stom性能46本章小结883第5章熟悉 kinesis5.1 kinesis架构概述5..1 amazon kinesis的优势和用例51.2高级体系结构kinesis的组件6852创建 kinesis流服务521访问aws5.22配置开发环境523创建 kinesis流524创建 kinesis流生产者5.25创建 kinesis流消费者5.2.6产生和消耗犯罪警报本章小结第6章熟悉 spark6.1 spark概述6.1.1批量数据处理6.1.2实时数据处理6.1.3式解决方案 apache spark614何时应用 spark实际用例l1262 spark的架构
li.实时大数据分析—基于stom、sprk技术的实时应用622 spark扩展/库623 spark的封装结构和apl117624 spark的执行模型—主管-工作者视图11963弹性分布式数据集(rdd)64编写执行第一个 spark程序12464.1硬件需求642基本软件安装643配置 spark集群644用 scala编写 spark作业64.5用java编写 spark作业65故障排除提示和技巧651 spark所用的端口数目652类路径问题——类未6.53其他常见异常第7章使用rdd编程71理解 spark转换及操作7.1.1 rdd api7.12rdd转换操作13rdd功能操作7.2编程 spark转换及操作73 spark中的持久性15774本章小结第8章 spark的sql查询引擎— spark sqlark sql的体系结构8.1.1 spark sql的出现812 spark sql的组件8.1.3 catalyst optimizer8.1. 4 sql/hive context82编写第一个 spark sql作业
821用 scala编写 spark sql作业822用java编写 spark sql作业83将rdd转换为 data frame83.1自动化过程83.2手动过程84使用 parquet841在hdfs中持久化 parquet数据84.2数据分区和模式演化合并8.5hive表的集成86性能调优和最佳实践86.1分区和并行性862序列化863缓存864_内.存_8.7本章小结第9章用 spark streaming分析流数据91高级架构911 spark streaming的组件9.12 spark streaming的封装结构92编写第一个 spark streaming作业92.1创建流生成器922用 scala编写 spark streaming作业923用java编写 spark streaming作业924执行 spark streaming作业93实时查询流数据93.1作业的高级架构9.32编写 crime生产者933编写 stream消费者和转换器934执行 sql streaming crime分析器21494部署和监测94用于 spark streaming的集群管理器942监测 spark streaming应用程序
实时大数据分析—基于stom、 spark技术的实时应用95本章小结第10章介绍 lambda架构么是 lambda架构10.1. i lambda架构的需求.2 lambda架构的层/组件10.2 lambda架构的技术矩阵10.3 lambda架构的实现03.1高级架构10.32配置 apache cassandra和 spark10.33编写自定义生产者程序10.3.4编写实时层代码10.3.5编写批处理层代码10.3.6编写服务层代码104本章小结
