《spark1大数据平台v2》炼数成金大数据视频教程11月份班10周课程完整版《spark1x大数据平台v2》11月份班
资源详情
课程介绍《spark 大数据平台》本课程内容全面涵盖了spark生态系统的概述及其编程模型.深入内核的研究.spark on yarn.spark streaming流式计算原理与实践spark sql.基于spark的机器学习.图计算.techyon.spark的多语言编程以及sparkr的原理和运行。面向研究spark的学员.它是一门非常有学习指引意义的课程。时间：共10周
——————-课程目录——————-
第一周 spark生态系统概述与编程模型spark生态系统概述回顾hadoop mapreducespark运行模式rddspark运行时模型简介缓存策略介绍transformationactionlineage容错处理宽依赖与窄依赖集群配置
第二周 深入spark内核spark术语解释集群概览核心组件数据本地忄生常用rdd任务调度dagschedulertaskschedulertask细节广播变量累加器忄生能调优
第三周 spark on yarn & spark as a servicespark on yarn原理spark on yarn实践jobserver架构jobserver api介绍jobserver配置与部署
第四周 spark streaming原理与实践dstream数据源无状态transformation与有状态transformationcheckpoint容错忄生能优化
第五周 shark与spark sqlshark数据模型shark数据类型shark架构shark部署缓存(分区)表sharkservershark与spark结合spark sql架构parquet支持dslsql on rddhive支持udfjdbc server
第六周 machine learning on sparklinearregressionk-meanscollaborative filtering
第七周 spark多语言编程python简介pyspark api使用python编写spark程序spark with ja危a
第八周 图计算graphx现存的图计算框架table operatorsgraph operatorsgraphx设计
第九周 tachyon原理与实践tachyon原理与架构tachyon实践
第十周 sparkrsparkr原理介绍安装配置与运行
