大数据：hadoop7天完整版课程大数据7天完整
资源详情
【课程内容】第一天1、数据部的一般组织架构2、数据分析的一般流程3、数据部背景知识总结4、hadoop是什么、hadoop的特点4、虚拟机访问外网配置5、hadoop hdfs核心组件6、hadoop mapreduce编程模型7、hadoop jobtracker与tasktracker及hadoop基础总结8、hadoop生态及secondarynamenode9、vm虚拟机软件安装10、centos虚拟机安装11、拷贝虚拟机及网络配置-文件占用异常-关闭防火墙12、hadoop集群安装（hostname.下载.解压.环境变量.配置文件修改.scp.启动集群.wordcount实例）13、hadoop集群安装步骤概述14、安装jdk附录1、使用crt软件登录虚拟机第二天1、当日课程安排2、hadoo shell常用命令3、windows开发环境准备-需要配置环境变量4、使用ja危a api 操作hdfs5、底层核心api.查看block的元数据信息.合并多个block6、hadoop hdfs文件上传机制7、hadoop hdfs文件下载机制及文件上传下载步骤总结（重要）8、hdfs实战-文件定时上传告警脚本-功能分析及说明9、hdfs实战-文件上传告警脚本-需求分析及周边系统说明10、hdfs实战-文件上传告警脚本-编码开发11、hdfs实战-文件上传告警脚本-文件上传时的copying状态第三天1、wordcount运行-控制台过程分析、8088管理页面分析、面试技巧2、wordcount驱动类分析3、map.reduce生命周期.输入输出泛型格式.writeable实现类.自定义datawriteable(保证顺序一致)4、编写wordcount函数及运行分析5、shuffle归并排序6、combiner概念分析-不是所有的combiner都能写成和reduce一样的7、combiner补充说明8、partitioner的概念分析及说明9、使用ik分词器对中文歌曲进行分词10、自定义combiner实现文件倒排索引11、通过工具查看fimage文件和edits文件12、secondarynode的运行机制（只做合并操作）13、在yarn资源调度管理器上运行hadoop mapreduce程序的流程14、lucene搜索引擎分析15、hadoop离线课程总结（重要）第四天1、实时计算课程安排2、背景知识：企业日志收集的两种方式比较-点击流日志收集系统3、storm基础（离线计算的特点、流式计算的特点、storm是什么、storm与hadoop的区别）4、storm集群搭建步骤-（请先准备好虚拟机和zk、jdk）.storm配置文件说明5、storm任务提交流程分析及拓扑任务界面分析6、storm常用命令说明7、storm的应用场景及典型案例8、storm核心组件概念及streamgrouping（重要）9、流式计算一般架构图（很灵活）10、wordcount分析-spout、bolt的声明周期、spout与bolt链接11、自己编写storm任务执行的过程12、案例：39女生节业务指标数据实时统计附：zookeeper安装步骤第五天2、storm任务提交过程总结3、任务提交时worker数量与集群worker数量的关系5、storm任务提交流程8、disruptor概念介绍-无锁的队列.每秒600万10、storm总结附：jstorm源码解读-组件启动流程第六天1、kafka是什么-kafka在流式计算中的位置-流式计算为什么需要kafka2、jms规范-为什么要有消息队列、jms模型、大数据领域下的消息系统3、kafka配置文件说明-kafka集群安装4、补充：kafka配置文件说明-kafka集群安装–必看5、kafka常用命令行使用6、kafka ja危a api 操作7、kafka核心组件的描述8、consumer与topic关系9、kafka消息的分发-consumer的负载均衡10、kafka文件存储过程11、kakfa总结附：redis-string案例第七天1、redis哈希散列-案列.list-案例2、redis set及sortset案例redis set及sortset案例
