电子书：《spark大数据分析技术与实战》《spark大数据分析技术与实战》
111
内容简介：
cda数据分析师系列丛书spark大数据分析技术与实战经管之家主编董轶群曹正凤赵仁乾王安编著電子エ掌出版社publishing house of electronics indust北京· beijing内容简介e、ak作为下一代大数据处理引.经过短短几年的飞医式发展.正在以原之势席巻业界.现为大数据产业中的一股中坚力量本书着重讲解了spak内核、 spark graphx、 spark sql、 spark streaming和 spark mllib的核心概念与理论框架.井提供了相应的示例与解析全书共分为8章.其中前4章介绍 spark内核.主要包括 spark简介、集群部署、工作原理、核心概念与操作等:后4章分别介绍 spark内核的核心组件.每章系统地介绍 spark的一个组件.并附以相应的案例分析本书适合作为高等院校计算机相关专业的研究生学习参考资料.也适合大数据技术初学者阅读还适合所有愿意对大数据技术有所了解井想要将大数据技术应用于本职工作的读者阅读未经许可.不得以任何方式复制或抄袭本书之部分或全部内容版权所有.侵权必究图书在版编目(cip)数据spark大数据分析技术与实战/经管之家主编:董轶群等编著.一北京:电子工业出版社.2017.7(cda数据分析师系列丛书)1.①s….①经…②董…ⅲ.①数据处理軟件一技术培训一教材v.①tp27中guo版本图书馆cip数据核字(2017)第133619号策划编辑;张慧敏责任编辑:徐津平特约编辑:顾慧芳印刷:北京中新伟业印刷有限公司装订:北京中新伟业印刷有限公司北京市海淀区万寿路173信箱邮编:100036开本:787×x980116印张:145字数:330千字版次:2017年7月第1版印次:2017年7月第1次印刷定价:59.00元凡所购买电子工业出版社图书有缺损问題.请向购买书店调换。若书店售缺.请与本社发行部联系联系及邮购电话010)8825488.88258888质量投诉请发邮件至[email protected].盗版侵权举报请发邮件至dbqaphei.com.cm本书咨询联系方式:010-51260888-819.前言随着电子信息、物联网等产业的高速发展.智能手机、平板电脑、可穿戴设备与物联网设备已经渗入到现代化生产与生活的各个方面.每时每刻产生着大量的数据.当今社会已经进入敬据爆炸的时代。各领域中的相关数据不仅量大.而且种类繁多、变化速度快、价值密度低。这些ri益凸显的大数据特征在全球范guo内掀起了一场全新的思维、技术与商业变革.无论是产业界还是学术界都在持续加大在大数据技术和相关领域中的投入。“中guo制造2025”战略规划和“互联网+”概念的提出再次为guo内大数据技术的发展注.入了强劲的动力.大数据技术已被提升到了前所未有的高度.预示了其未来广阔的发展空间与应用前景。在大数据背景下.各领域对数据相关服务的需求不断提升.迫切需要一种高效通用的大数据处理引擎。相对于第一代大数据生态系统 hadoop中的 mapreduce. spark是一种基于_内.存_的、分布式的大数据处理引華.其计算速度更快.更加适合处理具有较多送代次数的问題; spark中还提供了丰富的aph.使其具有极强的易用性;与此同时.spak实现了“一式”的大数据解决方案.即在 spark内核基础上提出了 spark graphx、 spark streaming、 spark mliib、 spark sql等组件.使其不仅能对海量数据进行批处理.同时还具备流式计算、海量数据交互式查询等功能.可以满足包括教育电信、医疗、金融、电商、政府、智慧城市和.安.全.等诸多领域中的大数据应用需求spark作为下ー代大数据处理引撃.经过短短几年的飞跃式发展.正在以原之势席卷业界.现已成为大数据产业中的一股中坚力量本书主要针对大数据技术初学者.着重讲解了 spark内核、 spark graphx、 spark sql、 sparkstreaming和 spark mllib i的核心概念与理论框架.并提供了相应的示例与解析.以便读者能够尽快了解spak全书其分为8章.其中前4章介绍 spark内核.主要包括 spark简介、集群部署、工作原理、核概念与操作等;后4章分别介绍spak内核的核心组件.毎章系统地介绍spak的一个组件.并附以相应的案例分析?第1章: spark导论。概述 spark的发展背景与起源.对比 mapreduce介绍了 spark的特征原理与应用场景等。2章:spak集群部署。该章详细介绍了 ubuntu下 spark集群的部署过程与注意事项.首先利用 vmware workstation搭建 hadoop分布式集群;然后在集群中安装 scala;最后搭建standalone模式的 spark集群spark大数据分析技术与实战第3章:rdd编程。该章对spak中的弹性分布式数据集( resilient distributed datasetrd)这一核心概念进行了详细介绍重点讲解了与之相关的定义、特征及其操作.并附以相应的示例与解析第4章: spark调度管理与应用程序开发。该章述了 spark底层的工作机制.介绍了 spark应用程序从产生作业到最终计算任务的整个流程;基于 intellij idea讲解了 spark应用程序的开发过程.并介绍了如何在本地与集群模式下提交运行spak应用程序?第5章: graphx。该章介绍了 graphx的基本原理.着重讲解了 graphx中弹性分布式属性图的定义、表示模型、存储方式以及其上的丰富操作;以经典的 pagerank与三角形计数等图计算算法为例.讲解了 graphx中相关接口的使用方法。第6章: spark sql。该章包含了 spark sql概述、sol语句的处理流程、 dataframe数据模型的概念与相关操作等;并将 spark sql与hive相结合.给出了ー个学生信息管理系统的设计与实现。第7章: spark streaming。该章介绍了 spark streaming的发展与应用场景以及批处理时间间隔、窗口间隔、滑动间隔等核心概念;着重讲解了 dstream数据模型的概念与相关操作;针对不同应用场景下的流式计算需求.给出了有状态与无状态模式下的 spark streaming应用案例与解析。第8章: spark mllib。该章介绍了 spark mllib中向量、 labeledpoint、矩阵等核心数据类型的定义与使用;详细介绍了机器学习中分类、回归、聚类、协同过滤等经典算法的spak实现与应用.并附以相应的索例与解析。由于时间短.加之笔者水平有限.书中难免有疏漏之处.敬请读者朋友批评指正。轻松注册成为博文视点社区用户(wwwbroadview.com.cn).扫码直达本书页面。提交劫误:您对书中内容的修改意见可在交勤误处提交.若被采纳.将获赠博文区积分(在您购买电子书时.积分可用来抵扣相应金额)交流互动:在顶面下方读者评抢处留下您的疑问或观点.与我们和其他读者一同学习交流目录第1章 spark导论park的发展什么是 sparkspark主要特征1.3.1快速1.3.2简洁易用.3.3通用3.4多种运行模式第2章 spark集群部署2.1运行环境说明2.1.1软硬件环境2.1.2集群网络环境2.2安装 vmware workstation2.3安装 centos62.4安装 hadoop2.4.1克隆并启动虚拟机2.4.2网络基本配置2.4.3安装dk4.4免密钥登.录配置2.4.5 hadoop配置2.4.6配置从节点2.4.7配置系统文件2.4.8启动 hadoop集群2.5安装 scala789333562.6安装 spark2.6.1下载并解压spak安装包
#############################################
