python3实战spark大数据分析及调度.python3实战spark大数据分析及调度[本干货来自笑哥共享网]

python3实战spark大数据分析及调度.python3实战spark大数据分析及调度[本干货来自笑哥共享网]

资源详情

python3实战spark大数据分析及调度第1章 课程介绍课程介绍第2章 实战环境搭建工欲善其事必先利其器.本章讲述jdk、scala、hadoop、ma危en、python3以及spark源码编译及部署第3章 spark core核心rdd本章详细讲解rdd是什么以及特忄生(面试常考)、spark中两个核心类sparkcontext和sparkconf、pyspark启动脚本分析、rdd的创建方式以及如何使用ide开发python spark应用程序并提交到服务器上运行第4章 spark core rdd编程本章将针对rdd中常用的算子进行详细案例讲解.并进行综合案例实战第5章 spark运行模式本章将介绍spark的几种运行模式.需要重点掌握on yarn模式第6章 spark core进阶本章将介绍spark中的核心术语、运行架构、并对比spark和mapreduce的概念区分、存储策略及选择方式、宽窄依赖及shuffle第7章 spark core调优本章将从spark作业忄生能指标、序列化、内存管理、广播变量及数据本地化这几个方面来介绍spark作业的调优第8章 spark sql本章将讲解spark sql的架构、dataframedataset、以及如何使用python api来对dataframe进行编程第9章 spark streaming本章将讲解spark streaming的核心概念、执行原理、以及如何python api来对spark streaming进行编程第10章 azkaban基础篇本章将讲解azkaban的特忄生、架构、运行模式、源码编译及部署、快速入门第11章 azkaban实战篇本章将讲解如何使用azkaban来完成hdfs、mapreduce、hive作业的调度、定时作业调度以及邮件告警第12章 azkaban进阶篇本章将讲解azkaban在生产上的部署、权限管理、ajax api、plugin、以及短信和调度框架的二次开发第13章 项目实战本章将讲解在构建大数据平台的技术选型、集群升级资源评估.并使用spark对气象数据进行分析.讲分析结果写入es.并通过kibana进行统计结果下载地址:的可视化展示