电子书：《sparkstreaming技术内幕及源码剖析》《sparkstreaming技术内幕及源码剖析》
111
内容简介：
m作者简介王家林中guo著名的park培训专家. apache spark创始人和首席专家. android软硬件整合专家。深入研究了 spark从0.50到210中共28个版本的 spark源码.目前致力于开发优化的 spark中guo版本.尤其擅长 spark在生产环境下各种类型和场贔故障的排除和解决.痴迷于 spark在生产环境下任意类型(例如 shuffle和各种_内.存_问题及数据倾斜问题等)的深度性能优化夏阳系统架构师.从事平台和应用软件研发工作多年.行业阅历丰富.对行业技术发展有独到见解和精准判断.曾就职于中创中间件公司、蚊坊软件公司、任子行网络技术股份有限公司对大数据处理、机器学习、图计算、文本处理等技术领域有丰富的实战经验和浓厚兴趣。
sparkstreaming技术内幕及源码剖析王家林夏阳编著请大学出版社
内容简介本书以大数据处理引擎 spark的稳定版本16x为基础.从应用案例、原理、源码、流程、调优等多个角度剖析 spark上的实时计算框架 spark streaming。在勾勒出 spark streaming架构轮廓的基础上.从基本源码开始进行剖析.由浅入深地引导已具有spak和 spark streaming基础技术知识的读者进行 spark streaming的进阶学习.理解 spark streaming的原理和运行机制.为流数据处理的决策和应用提供了技术参考:结合 spark streaming的深入应用的需要.对 spark streaming的性能调优进行了分析.也对 spark streaming功能的改造和扩展提供了指导本书适合大数据领域cto、架构师、高级软件工程师.尤其是 spark领域已有 spark streaming基础知识的从业人员阅读.也可供需要深入学习 spark、 spark streaming的高校研究生和高年级本科生参考本书封面貼有清华大学出版社防伪标签.无标签者不得销售。版权所有.侵权必究。侵权举报电话:0106278298913701121图书在版编目(cp)数据spark streaming技术内幕及源码剖析/王家林.夏阳编著.一北京:清华大学出版社.2017isbn9787-302-46491-41.①s…ⅱ.①王…②夏…ⅲ.①数据处理软件ⅳ.①tp274中guo版本图书馆cip数据核字(2017)第025588号责任编辑:袁金敏战晓雷封面设计:责任校对责任印制出版发行:清华大学出版社网址:htp/www:tup.com.cn.htp/www.wqbook.com地址:北京清华大学学研大厦a座邮编:100084杜总机:010-62770175邮购:010-62786544投稿与读者服务:010-62776969.c-service(@tuptsinghua.edu.cn质量反馈:01062772015. zhiliang@ tup tsinghua.e印装者:清华大学印刷经销:全guo新华书店开本:185mm×230mm印张:16.25字数:264千字版次:2017年5月第1版印次:2017年5月第1次印刷定价产品编号:072312-01
前言大数据浪潮汹涌来袭.这绝不仅仅是信息技术领域的ge命.更是在全球范围引领社会变革的机遇。大数据的集群计算开源软件 spark在大数据计算平台应用领域ri益凸显其重要地位。如果大数据技术领域从业人员的技术水平仍停留在只知使用开源软件.而不从开源软件的原理、架构上去理解.不到源码中去体会细节.则难以从根本上彻底解决现实作中遇到的技术问题.更难以胜任大数据领域的技术创新工作可以预见.大数据的处理将越来越强调实时处理。 spark streaming是建立在 spark.上的实时计算框架.在 spark的各子框架中处于举足轻重的地位。彻底掌握 spark streaming的同时.也能加深对 spark core技术的理解和掌握.还能具备开发同样高端的 spark应用程序的实力。对于有志向的 spark学习进阶者来说.深入了解 spark streaming的源码是提高核心竞争力的捷径本书不仅对 spark streaming的ap做总结性介绍.而且重点针对 spark1.6.x的 sparkstreaming进行源码剖析。该书的开始部分对 spark的基本原理有一些阐述.但主要是彻底深入剖析 spark streaming的内部原理卖源码的人都怕自己走进大量源码的迷宫。为了提高源码学习效率.本书在剖析源码前.会对源码实现的功能的大致原理和流程轮廓进行介绍。书中有方便源码剖析的流程图.这对于理解和掌握 spark streaming的各个功能非常重要。读者看到复杂的流程图时不一定要立刻全部理解掌握.但可以在源码学习过程中经常回过头来对照流程图以加深印象为了在书的页面内清晰展示复杂的流程图.书中绝大多数流程图采取了从上至下的树状结构来体现调用关系。每个方框中注明了类和方法.被其调用的类的方法会在下一行从左至右依次显示.调用和被调用的类方法间用有向线连接。有些方框上部会给出类的成员
i spark streaming技术内幕及源码剖析变量.其类型就是方框中指明的类。粗箭头不是表示调用关系.而是表示传递消息源码剖析过程中.源码中关键的类名、方法名、注释会以粗体显示.使读者清楚重点。读者应以粗体部分为重点进行阅读.其他部分可以粗略浏览。有些源码篇幅过大.可能会省略其中的部分代码.以突出当前读者需要阅读的源码主体2017年2月27ri于北京
#############################################