电子书：《循序渐进学spark》《循序渐进学spark》
111
内容简介：
技术丛书learning spark step by ste循序渐进学 spark小象学院杨磊著p想甚图书在版编目(cip)数据循序渐进学 spark/杨品著.一北京:机械工业出版社.2017.3isbn978-7-111-56332-71.循…ⅱ.杨…ii.数据处理软件iv.tp274中guo版本图书馆cip数据核字(2017)第050735号循序渐进学 spark出版发行:机械工业出版社(土東市西球区万王大22号破:1000责任绵:何欣田责任校对;李秋荣印刷:北京诚信伟业有限公司版次:2017年4月第1版第1次印开本:186mm×x240mm1/16印张:15.75书号:isbn978-7-111-56332-7定价:59.00元凡购本书.如有缺页、倒页、脱客服热线投稿热010)88379604书热线010)6832629488379649版权所有·侵权必封底无防伪标均为盗版前言spark诞生于美guo加州大学伯克利分校amp实验室。随着大数据技术在互联网、金融等领域的突破式进展. spark在近些年得到更为广泛的应用。这是一个核心贡献者超过一半为华人的大数据平台开源项目.且正处于飞速发展、快速成熟的阶段为什么写这本书spark已经成为大数据计算、分析领域新的热点和发展方向。相对于 hadoop传统的mapreduce计算模型.spak提供更为高效的计算框架以及更为丰富的功能.因此在大数据生产应用领域中不断攻城略地.势如破竹与企业不断涌现的对大数据技术的需求相比.大数据人オ还存在很大缺口.对大数据技术充满期许的新人正在源源不断地加入这个领域。在小象学院的教学实践过程中.我们发现.一本能完整系统地介绍 spark各模块原理并兼顾使用实战的书.对于初人大数据领域的技术人员至关重要。于是.我们根据ri常积累的经验.著成本书spak作为一个高速发展的开源项目.最近也发布了全新的 spark2.0版本。对于 spark2.0版本的新特性.我们也专门给予描述.以期将最前沿的 spark技术奉献给读者本书面向的读者spark初学者口 spark应用开发人员口大数据技术爱好者如何阅读本书本书共分8章第1章介绍了spak大数据处理框架的基本概念、主要组成部分、基本架构.以及spak集群环境搭建和 spark开发环境的构建方法。第2章引入 spark编程中的核心一一rdd弹性分布式数据集.以典型的缩程范例.讲解基于rdd的算子操作。第3章主要讲述了 spark的工作机制与原理.剖析了 spark的提交和执行时的具体机制.重点强调了 spark程序的宏观执行过程。此外.更深入地剖析了 spark的存储及10通信机制、容错机制和 shunde机制第4章对 spark的代码布局做了宏观介绍.并对spak的执行主线进行详细剖析.从代码层面详细讲述rdd是如何落地到 worker上执行的。同时.本章从另一个角度分析了cint、 master与 worker之间的交互过程.深人讲述了 spark的两个重要功能点及spakshuffle与 spark存储机制第5章介绍了yarn的基本原理及基于yarn的 spark程序提交.并结合从程序提交到落地执行的过程.详细介绍了各个阶段的资源管理和调度职能。在本章的后半部分.主要从资源配置的角度对yarn及基于yarn的 spark做了较为详细的介绍第6章一一讲解了bdas中的主要模块。由 spark sql开始.介绍了 spark sql及其绵程模型和 dataframe。接着深入讲解 spark生态中用于流式计算的模块 spark streaming之后.讲解了 spark r的基本概念及操作。最后针对机器学习的流行趋势.重点介绍了spark mllib的架构及编程应用.以及机器学习的基本概念和基本算法第7章首先详细叙述了 spark调优的几个重要方面.接着给出了工业实践中常见的些问题.以及解决问题的常用策略.最后启发读者在此基础上进一步思考和探索。第8章描述了 spark2.0.0发布之后. spark core、 spark sql、mlib、 spark streamingspark r等模块ap的变化以及新增的功能特性等。对于变化较大的 spark sql.书中用实际的代码样例更详细地说明和讲解了 sparksession、结构化 streaming等新特性对于spak的初学者或希望从零开始详细了解 spark技术的读者.请从第1章开始通读全书;对于有一定spak基础的研究者.可从第4章开始阅读;如果只想了解spak最基本的原理.阅读第1-3章即可资源和勘误本书大量资源来源于小象学院专家团队在大数据项目开发以及spak教学课程中的经验积累。本书内容的撰写也参考了大量官方文档(htp/spark. apache.orgy)由于 spark技术正在飞速发展.加之笔者水平有限.书中难免存在谬误.也可能存在若干技术细节描述不详尽之处.恳请读者批评指正。欢迎大家关注微 信服务号“小象学院”.把您的意见或者建议反馈给我们。首先应该感谢 apache spark的开源贡献者们. spark是当今大数据领域伟大的开源项目之一.没有这一开源项目.便没有本书。本书以小象学院git项目方式管理。感谢姜冰钰、陈超、洗茂源等每一位内容贡献者感谢他们花费大量时间.将自己对 spark的理解加上在实际工作、学习过程中的体会.融汇成丰富的内容感谢本书的审阅者樊明路、杨福川、李艺.他们对本书的内容和结构提供了非常宝贵
