电子书《apachespark源码剖析》《apachespark源码剖析》
111
内容简介：
apache spark源码剖析许鹏」著電子エ掌出版社blishing house of electronics industry北京· bejing内容简介本书以 spark1.02版本源码为切入点.着力于探寻 spark所要解决的主要问题及其解决办法通过一系列精心设计的小实验来分析每一步背后的处理逻辑本书第3~5章详细介绍了 spark corel中作业的提交与执行.对容错处理也进行了详细分析有助读者深刻把握 spark实现机理。第6~9章对 spark lib库进行了初步的探素。在对源码有了定的分析之后.读者可尽快掌握 spark技术本书对于 spark应用开发人员及 spark集群管理人员都有极好的学习价值:对于那些想从源码学习而又不知如何入手的读者.也不失为一种借鉴未经许可.不得以任何方式复制或抄袭本书之部分或全部内容版权所有.侵权必究图书在版编目(cip)数据apache spark源码剖析/许著.一北京:电子工业出版社.2015isbn978-7-121-25420-8l.a….①许…il①互联网络一网络服.务.器②数据处理软件iv.①tp3685②tp274中guo版本图书馆cp数据核字(2015)第010897号策划编辑:付睿责任编辑:李云静刷:北京天来印务有限公司装订:北京天来印务有限公司出版发行:电子工业出版社京市海淀区万寿路173信箱邮编:100036开本:787×980116印张:18.5字数:432千字版次:2015年3月第1版印次:2015年3月第1次印刷定价:68.00元凡所购买电子工业出版社图书有缺损问题.请向购买书店调换。若书店售缺.请与本社发行部联系.联系及部购电话010)88254888质量投诉请发郎件至[email protected].盗版侵权举报请发邮件至[email protected]服务热线010)825888笔者接触 spark时间不算很长.而本书之所以能够出版.凭借的是浓厚的兴趣和执着之心这一切还要从 storm说起。笔者一直在做互联网相关工作.但接触大数据的时间并不长当时 hadoop和sorm等非常红火.引起了笔者的“窥视”之心。从2013年开始.笔者打算看看 hadoop的源码实现.观察其代码规模.发觉所花时间可能会很长。恰好其时 storm风头正劲于是转向 storm源码.0.8版的 storm代码规模不过20000行左右.感觉还是比较好入手的storm源码分析期.笔者还学习了 clojure、 zeromq、 thrift、 zookeeper、 lmax disruptor.等新技术.对于实时流数据处理算是有了一个大概的了解。由于听说在实时流数据处理领域 spark技术也很强悍.而且在容错性方面具有天生的优势.更引发了笔者的兴趣.为了弄清楚究竟.于是开始了 spark的源码走读过程笔者是以读 spark论文开始的.说老实话觉得晦涩难懂.因为无法将其映射到_内.存_使用、进程启动、线程运行、消息传递等基本问题上。或许换个方法会更好.故笔者选择直接从源码入手.如此一来事情反而变简单了。在源码分析的过程中.笔者始终抓住资源分配、消息传递容错处理等基本问題设问.然后一步步努力寻找答案.所有的问題渐渐迎刃而解笔者关于源码分析有一个心得.就是要紧紧把握住计算的基本模型.然后结合新分析问题的业务领域.将业务上的新问题转换到计算处理的老套路上来.然后就可以以不变应万变.而不被一些新技术名词晃花了眼。这里所说的老套路是指从操作系统的角度来看.如果能事先深度了解操作系统.将对分析一些新应用程序大有裨益sparki源码采用 scalar语言编写.那么阅读 spark源码之前.是否一定要先学 scala呢?笔者个人以为不必.只要你有一些java或c++编程语言的基础.就可以开始看 spark源码.遇到不懂的地方再去学习.效率反而会大大提高.做到有的放矢。将学习中遇到的知识点.从函数式编程泛型编程、面向对象、并行编程等几个方面去整理归纳.这样能够快速将 scalar语言的框架勾勒本书第1章和第2章简要介绍了大数据分析技术的产生背景和演进过程:第3~5章详细分析了 spark core中的作业规划、提交及任务执行等内容.对于要深刻把握 spark实现机理的读者来说.这几章值得反复阅读:第6~9章就 spark提供的高级lb库进行了简要的分析.分析的思路是解决的主要问题是什么、解决的方案是如何产生的.以及方案是如何通过代码来具体实现的在对源码有了一定的分析和掌握之后.再回过头来看一下 spark相关的论文.这时候对论文的理解可能会更顺畅sparki的整体框架非常庞大.涵盖的范围也很广.随着笔者在工作中使用得越来越具体.这样的感受也越来越深。另外.必须要说对于 spark来说.笔者所做的分析实在有限.个中错误在难免.读者诸君还请多多谅解在本书成稿期间.电子工业出版社的付编辑和李云静编辑给出了极为详细的改进意见在这里表示衷心的感谢。最后感谢家人的支持和鼓励.亲爱的老婆和懂事的儿子给了笔者坚持的理由和勇气目录第一部分 sparkt概述第1章初识 spark1.1大数据和 spark1.1.1大数据的由来1.2大数据的分析1. 1. 3 hadoop12与 sparki的第一次兼密接触1.2.1环境准备1.22下载安装 spark1.23 spark下的 wordcount第二部分 spark核心概念第2章 spark整体框架2.1编程模型2.1.1rdd2.2.2集群的节点构成2.2.3容错处理2.2.4为什么是 scala
#############################################
