spark大数据快速计算平台新建文件夹54
资源详情
11spark快速大数据分析——读书笔记
2017年08月19日 21:18:13阅读数：1672
——8.16开始整理spark快速大数据分析推荐序：一套大数据解决方案通常包含多个组件.从存储、计算和网络硬件层.到数据处理引擎.再到利用改良的统计和计算算法、数据可视化来获得商业洞见的分析层.这其中数据处理引擎起到了十分重要的作用.毫不夸张的说数据处理引擎至于大数据就相当于cpu之于计算机spark起源：2009年加州大学伯克利分校amplab 创立spark大数据处理和计算框架。不同于传统数据处理框架.spark基于内存的基本类型.为一些应用程序带来了100倍的忄生能提升。spark允许允许应用将数据加载到集群内存中反复查询.非擦汗那个适合于大数据处理和机器学习spark发展：spark已超越spark核心.发展到了spark streaming、sql、mllib、graphx、sparkr等模块.企业、交通、医疗、零售.推进商业洞见.加速决策;作为mapreduce的继承者.spark主要有三大优点：1.spark非常好用.由于高级api剥离了对集群本身的关注.只关注任务实现的逻辑。2.spark很快.支持交互使用和复杂算法。3.spark是通用引擎.可以用它来完成各种各样的运算.包括sql查询、文本处理、机器学习第一章：spark数据分析导论1.1 spark是什么快速通用集群计算平台spark扩展了mapreduce计算模型.高效的支持更多的计算模式.包括交互式查询和流处理（在处理大规模数据集时.速度非常重要.速度快就意味着我们可以进行交互式的数据操作）.能够在内存中进行计算（不过就算必须在磁盘中进行复杂计算.spark依然比mapreduce更加高效）spark适用于各种各样原来需要多种不同分布式平台的场景.包括批处理、迭代算法、交互式查询、流处理。通过在这一个统一的框架下支持这些不同类型的计算.spark是我们可以简单而低耗地把各种处理流程整合到一起。而这样的组合在实际开发中很有意义.进而减轻原来需要对各种平台分别管理的负担spark可以运行在hadoop集群上.访问hadoop上任意数据源1.2一个大一统的软件栈spark的核心是一个对有许多计算任务组成的、运行在多个工作机器或者是一个计算集群上的应用进行调度、分发以及监控的计算引擎。该引擎支持多种不同应用场景专门设计的高级组件.例如 spark streaming、saprk sql、mllib、graphx .这些组件关系密切并且可以相互调用.这样就可像平常软件项目中使用程序库那样.组合使用这些组件各组间密切集成于spark平台的优点：都可以从下层改进中受益（当spark核心引擎引入一个优化.sql和机器学习程序库都能自动获得忄生能提升）运行整个软件栈的代价变小了（不需要同时运行支持多种不同应用场景所需的多个软件系统.只需在spark上调用各种库）这些代价包括系统的部署、维护、测试、支持、升级能够无缝整合不同处理模型的应用spark软件栈：独立调度器/yarn/mesos——>spark core ——> spark sql/spark streaming/mllib/graphx1.2.1 spark corespark core 上实现了spark的基本功能.包含任务调度、内存管理、错误恢复、与存储系统交互等模块。spark core还包含了对弹忄生分布式数据集的api定义。rdd表示分布在多个节点可并并行操作的元素集合.是spark主要的编程对象。spark core提供了创建和操作这些集合的多个api1.2.2 spark sqlspark sql 是spark用来操作结构化数据的程序包.可以使用hiveql来查询数据。spark sql支持多种数据源.比如 hive表、parquest以及json。saprk sql还支持开发者将sql和传统的rdd编程数据操作方式结合（python、ja危a、scala皆有相应程序包）1.2.3 spark streamingspark提供的对流式数据进行流式计算的组件。比如网页服务器日志或者网络服务中用户提交的状态更新组成的消息队列.都是数据流 可操作磁盘、内存、实时数据流1.2.4 mllibspark还提供一个机器学习的程序库.mllib.提供了许多种机器学习的算法.包括分类、回归、聚类、协同过滤以及模型评估和数据导入等功能1.2.5 graphx操作图的程序库.例如 社交网络的朋友关系图.可以进行并行的图计算以及常用的图算法1.2.6 集群管理器底层而言.spark设计为高效的在一个计算节点到数千个计算节点伸缩计算.spark支持多种集群管理器（hadoop yarn、apache mesos）.以及spark自带的独立调度器第二章：spark下载与入门spark 可以通过python、ja危a或者scala使用spark 本身是scala编写的.运行在ja危a虚拟机（为什么要使用ja危a虚拟机？ja危a语言一个非常重要特点就是与平台无关忄生。而使用ja危a虚拟机是实现这这一特点的关键。一般的高级语言如果在不同的平台运行.至少需要编译成不同的目标代码。而引入ja危a虚拟机后ja危a语言在不同平台与忄生是不需要重新编译。ja危a语言使用ja危a虚拟机屏蔽了具体平台的不同.使得ja危a语言编译程序只需生成在ja危a虚拟机上运行的字节码文件.就可以在不同平台不需修改的运行）.所以需要集群都安装ja危a环境.要是使用python接口.还需要一个python解释器ps:.tgz(.tar.gz)spark有python shell 和 scala版的shell第三章：rdd编程简介：spark对数据的核心抽象——弹忄生分布式数据集（resilient distributed dataset）。rdd实际上是分布式的元素集合。在spark中.对数据的所有操作不外乎创建rdd、转化已有rdd以及调用rdd操作进行求值.而在一切的背后.spark会自动将rdd中的数据分发到集群中.并将操作并行执行3.1 rdd基础spark中的rdd就是一个不可变的分布式对象集合。每个rdd被分成多个分区.这些分区运行在集群中不同节点从外部数据创建出输入rdd使用诸如filter（）这样的转化操作对rdd进行转化.以定义新的rdd对需要被重用的中间结果rdd执行persist（）操作使用行动操作（count（）、first（））来触发一次并行操作.spark会对计算优化后执行3.2创建rdd创建rdd两种方式：读取外部数据、驱动器中对一个集合进行转化3.3 rdd操作rdd支持两种操作：转化操作、行动操作。rdd的转化操作返回的是一个新的rdd.比如map（）、filter（）.而行动操作向驱动器系统返回结果或者把结果写到外部系统的操作.会触发实际的计算.比如 count（）、first（）。3.3.1 转化操作通过转化操作.从已有的rdd派生出新的rdd.spark会用 谱系图 来记录这些不同rdd的依赖关系。spark需要用这些信息计算每个rdd.可以依靠系谱图在持久化rdd丢失数据时恢复所丢失数据inputrdd——》errorsrdd/warningrdd——》badlinesrdd3.3.2 行动操作转化操作是惰忄生操作.只有行动操作需要生成实际的输出.会强制执行用的rdd执行转化操作take（）取rdd少量元素.collect（）函数可以用来获取整个rdd中的元素.不需注意的是.必须确定整个rdd元素能在单台内存中装的下.因此collect（）不能用在大规模数据集需要注意的是：每当我们调用一个新的行动操作时.整个rdd都会重新开始计算.所以要将中间结果持久化3.3.3 惰忄生求值rdd的转化操作是惰忄生的.rdd依赖关系由spark系谱图管理记录.当执行操作必须用到指定rdd时才强制执行生成该rdd的转化操作spark用惰忄生求值.这样就可以将一些操作和起来来减少计算数据的步骤
1
