大数据spark基础视频教程与hadoop生态圈视频教程2019千峰大数据
资源详情
├─千锋大数据教程：spark基础及源码分析│ ├─01.scala语言环境安装、scala的基本语法│ │ 1、认识scala-1.mp4│ │ 2、安装开发环境-1.mp4│ │ 3、scala shell、用idea创建ma危en项目-1.mp4│ │ 4、配置ma危en本地仓库、导入切换项目等其它配置-1.mp4│ │ 5、变量的声明-1.mp4│ │ 6、scala的7种值类型和条件表达式-1.mp4│ │ 7、for循环-1.mp4│ │ 8、方法和函数的声明以及方法转换成函数-1.mp4│ │ 9、数组-1.mp4│ │ 10、映射-1.mp4│ │ 11、元组-1.mp4│ │ 12、集合之seq-1.mp4│ │ 13、集合之set-1.mp4│ │ 14、集合之map-1.mp4│ ├─02.常用方法练习│ │ 1、lazy关键字-1.mp4│ │ 2、函数式编程练习之常用方法-1.mp4│ │ 3、函数式编程之reduce-1.mp4│ │ 4、函数式编程之fold-1.mp4│ │ 5、函数式编程之aggregate-1.mp4│ │ 6、函数式编程之交并差集-1.mp4│ │ 7、scala实现wordcount-1.mp4│ ├─03.面向对象、模式匹配│ │ 01、创建类、属忄生-1.mp4│ │ 02、构造器、辅助构造器-1.mp4│ │ 03、单例对象-1.mp4│ │ 04、伴生对象-1.mp4│ │ 05、apply和unapply方法-1.mp4│ │ 06、private关键字-1.mp4│ │ 07、特质、抽象类、继承、重写、实现等-1.mp4│ │ 08、模式匹配之匹配字符串-1.mp4│ │ 09、模式匹配之匹配类型-1.mp4│ │ 10、模式匹配之匹配数组、元组、集合-1.mp4│ │ 11、模式匹配之样例类-1.mp4│ │ 12、模式匹配之偏函数-1.mp4│ ├─04.actor、柯里化、隐式转换│ │ 01、作为值的函数-1.mp4│ │ 02、柯里化概念及声明方式-1.mp4│ │ 03、柯里化练习-1.mp4│ │ 04、隐式转换和隐式参数-1.mp4│ │ 05、隐式转换练习1-1.mp4│ │ 06、隐式转换练习2-1.mp4│ │ 07、泛型-1.mp4│ ├─05.泛型、akka│ │ 1、actor概念-1.mp4│ │ 2、actor实例之创建actor-1.mp4│ │ 3、actor实例之消息的接收与发送（异步没有返回值）-1.mp4│ │ 4、actor实例之消息的接收与发送（同步有返回值）-1.mp4│ │ 5、actor实例之消息的接收与发送（异步有返回值）-1.mp4│ │ 6、actor实例之并行编程思想实现单词计数-1.mp4│ │ 7、akka简介-1.mp4│ │ 8、akka案例需求分析-1.mp4│ │ 9、akka案例代码分析-1.mp4│ ├─06.spark集群安装、spark任务提交、spark实现wordcount并上传任务│ │ 1、spark简介-1.mp4│ │ 2、spark集群搭建、启动-1.mp4│ │ 3、spark shell.启动和提交任务-1.mp4│ │ 5、上传并执行任务-1.mp4│ ├─07.rdd的基本概念、常用算子练习│ │ 1、rdd的概念-1.mp4│ │ 2、生成rdd的两种方式-1.mp4│ │ 3、两种类型的算子：transformation和action-1.mp4│ │ 4、常用算子练习1-1.mp4│ │ 5、常用算子练习2-1.mp4│ ├─08.案例练习│ │ 1、案例需求-求用户在某基站停留的时间-1.mp4│ │ 2、案例实现-求用户在某基站停留的时间-1.mp4│ │ 3、案例实现-求用户访问学科的子网页top3-1.mp4│ │ 4、案例实现-求用户访问学科的子网页top3-chache、自定义分区器-1.mp4│ ├─09.spark集群启动流程和任务提交流程、案例练习│ │ 1、spark集群启动流程-1.mp4│ │ 2、spark任务提交流程-1.mp4│ │ 3、wordcount中创建了那些rdd-1.mp4│ │ 4、案例分析实现-按照ip统计区域访问量-1.mp4│ ├─10.rdd的依赖关系、stage划分、任务的生成、自定义排序│ │ 1、rdd之间的依赖关系-1.mp4│ │ 2、dag的生成和stage的划分-1.mp4│ │ 3、webui观察stage划分和任务的生成-1.mp4│ │ 4、自定义二次排序-1.mp4│ │ 2、sparksql介绍-1.mp4│ │ 3、创建dataframe-1.mp4│ │ 4、dataframe常用操作-dsl风格语法-1.mp4│ │ 5、dataframe常用操作-sql风格语法-1.mp4│ │ 6、通过反射推断schema-1.mp4│ │ 7、通过structtype直接指定schema-1.mp4│ ├─12.sparkstreaming、窗口操作、spark-on-yarn│ │ 1、sparkstreaming简介-1.mp4│ │ 2、实例分析：sparkstreaming获取netcat产生的数据进行实时分析-1.mp4│ │ 3、sparkstreaming实现按批次累加-1.mp4│ │ 4、窗口函数概念及使用场景-1.mp4│ │ 5、窗口函数实现wordcount-1.mp4│ │ 7、补充：sparkstreaming依赖-1.mp4│ └─13.源码分析：spark启动流程、stage划分、任务生成、任务提交流程│ 1、关于查看源码的一些介绍-1.mp4│ 2、导入源码-1.mp4│ 3、集群启动流程-master类-1.mp4│ 4、集群启动流程-worker类-1.mp4│ 5、sparksubmit提交任务-1.mp4│ 7、创建driveractor和clientactor的过程-1.mp4│ 8、clientactor向master注册任务信息过程-1.mp4│ 9、任务调度的两种方式及master通知worker启动executor的过程-1.mp4│ 10、executor向driveractor反向注册的过程-1.mp4│ 11、rdd生成和stage划分-1.mp4│ 12、生成任务并提交-1.mp4│ 13、task任务执行流程-1.mp4│ 14、总结-任务生成及提交流程-1.mp4└─千锋大数据课程：hadoop生态圈视频教程├─第1章 linux基础和shell脚本│ ├─day01：linux介绍和环境搭建│ │ 01 千锋大数据-1.mp4│ │ 02 linux概念介绍-1.mp4│ │ 03 vmware安装虚拟机创建linux操作系统安装-1.mp4│ │ 04 linux的目录结 连接网络模式 配置网络-1.mp4│ ├─day02：linux相关命令介绍1│ │ 01 帮助命令 终端管理工具安装-1.mp4│ │ 02 linux的系统级别命令（上）-1.mp4│ │ 03 linux的系统级别命令（下）-1.mp4│ │ 04 linux中磁盘相关简单操作-1.mp4│ │ 05 linux中用户和组操作-1.mp4│ ├─day03：linux相关命令介绍2│ │ 01 文件创建-1.mp4│ │ 02 linux中的文件操作02-1.mp4│ ├─day04：linux系统下软件安装│ │ 01 linux中的打包解包、查找、别名设置-1.mp4│ │ 02 特殊符号、防火墙启停、sudoer的配置-1.mp4│ │ 03 linux中二进制包安装(linux中jdk的安装)-1.mp4│ │ 04 linux的rpm的介绍和安装-1.mp4│ │ 05 linux连接公网-1.mp4│ │ 06 在线yum源安装-1.mp4│ │ 07 linux本地yum源的自作-1.mp4│ │ 08 源码安装和nginx的安装-1.mp4│ └─day05：shell编程│ 01 shell介绍和变量-1.mp4│ 02 shell中的字符串-1.mp4│ 03 shell中的数组和注释-1.mp4│ 04 shell中的运算符-1.mp4│ 05 shell中的ifelse-1.mp4│ 06 shell中的循环、casein、continue、break-1.mp4│ 07 shell中的方法-1.mp4│ 08 shell中的文件引入-1.mp4│ 09 shell中脚本的调试-1.mp4├─第2章 hadoop、hdfs、zookeeper和hadoop的高可用│ ├─day06：hadoop的简介和单机版安装│ │ 01 hadoop的简单介绍-1.mp4│ │ 02 hadoop 单机版安装及应用-1.mp4│ ├─day07：hdfs的理论讲解│ │ 01 hdfs的相关内容介绍-1.mp4│ │ 02 hdfs的文件读写流程-1.mp4│ ├─day08：yarn的理论讲解│ │ 01 yarn概念的讲解-1.mp4│ │ 02 yarn的流程介绍-1.mp4│ ├─day09：hadoop的伪分布式和分布式搭建│ │ 01 克隆虚拟机1-1.mp4│ │ 02 克隆服务器2-1.mp4│ │ 03 hadoop的集群配置01-1.mp4│ │ 04 hadoop的集群配置02-1.mp4│ │ 05 hadoop集群的启动和测试-1.mp4│ │ 06 ssh免登陆配置-1.mp4│ ├─day10：hdfs的shell命令和hdfs api01│ │ 01 hdfs的常用shell.mp4│ │ 02 ma危en的安装-1.mp4│ │ 03 ja危a读取hdfs的文件-1.mp4│ ├─day11：hdfs的api02和rpc│ │ 01 ja危a操作hdfs文件系统-1.mp4│ │ 02 rpc协议介绍-1.mp4│ │ 03 rpc的案例-1.mp4│ ├─day12：zookeeper的讲解│ │ 01 zookeeper的基本概念-1.mp4│ │ 02 zookeeper集群的搭建-1.mp4│ │ 03 zookeeper的shell命令-1.mp4│ └─day13：hadoop的高可用│ 01 hdfs的ha的介绍-1.mp4│ 02 hdfs的ha配置-1.mp4│ 03 hdfs的ha的测试-1.mp4│ 04 yarn的ha配置和测试-1.mp4├─第3章 分布式并行离线计算框架mapreduce│ ├─day14：mr的理论讲解和wordcount案例│ │ 01 mapreduce的相关概念的介绍-1.mp4│ │ 02 wordcount框架搭建-1.mp4│ │ 03 wordcount的map和reduce函数的实现-1.mp4│ │ 04 wordcount的驱动类的编写-1.mp4│ │ 05 wordcount的测试-1.mp4│ ├─day15：mr的基本数学运算和awk脚本案例比较│ │ 01 mapreduce的数学运算案例-1.mp4│ │ 02 awk和mapreduce的处理方式比较-1.mp4│ ├─day16：shuffle概念及图详解、partitioner、倒排索引案例│ │ 01 shuffle的概念介绍-1.mp4│ │ 02 shuffle的细节图描述-1.mp4│ │ 03 分区案例-1.mp4│ │ 04 倒排索引案例-1.mp4│ ├─day17：mapreduce的自定义数据类型、top-n、二次排序、多表连接案例│ │ 01 mr中自定义数据类型-1.mp4│ │ 02 mr中的top-n-1.mp4│ │ 03 mr的二次排序-1.mp4│ │ 04 多表的join连接1-1.mp4│ │ 05 多表的join连接2-1.mp4│ ├─day18：mapreduce中的老版本api案例和多个job依赖执行案例│ │ 01 mr中的依赖执行-1.mp4│ │ 02 mr的老版本的api-1.mp4│ └─day19：mapreduce中的参数传递和压缩案例│ 01 mr参数传递-1.mp4│ 02 mr中的压缩-1.mp4└─第4章 数据仓库工具hive├─day20：hive的概念介绍、安装和基本命令的使用│ 01 hive的概念介绍-1.mp4│ 02 hive的安装-1.mp4│ 03 hive的基本命令-1.mp4├─day21：hive的join 、sort by 、union等进阶查询│ 01 hive的join相关的查询-1.mp4│ 02 hive的sort、union等查询-1.mp4├─day22： hive的分区概念、分区表创建、分区信息修改、动态分区案例│ 01 hive分区表创建-1.mp4│ 02 hive的分区02-1.mp4├─day23：hive的基础数据类型、复杂数据类型、常用内部函数、排名函数案例│ 01 hive的基础数据类型和复杂数据类型-1.mp4│ 02 hive的常用内部函数和排名函数-1.mp4├─day24：hive的udf概念和udf的案例编写│ 01 hive的内部函数入门-1.mp4│ 02 hive的udf的使用-1.mp4├─day25：hive的数据文件存储格式、serde、索引、视图、优化(explain、job数量、数据倾斜)│ 01 hive文件的存储格式-1.mp4│ 02 hive的serde的记录格式-1.mp4│ 03 hive的索引-1.mp4│ 04 hive的视图-1.mp4│ 05 hive的执行方式-1.mp4│ 06 hive的远程模式-1.mp4│ 07 hive的优化explain的查询、job个数控制等-1.mp4└─day26：sqoop介绍、安装、语句01 sqoop的概念及安装-1.mkv02 sqoop的语句01-1.mp403 sqoop使用query导入和export导出-1.mp4
