2015小象学院—hadoop进阶视频教程hadoop高级进阶视频教程hadoop精华视频教程小象学院——hadoop进阶
资源详情
2015小象学院—hadoop进阶视频教程 hadoop高级进阶视频教程 hadoop精华视频教程 《hadoop进阶》：本课程面向hadoop高阶学习者.具有一定hadoop系统使用经验.结合大规模使用hadoop的实践经验.了解和掌握hdfs构建、hadoop工具使用、调试优化.问题分析.通过分析示例掌握大量实际使用的经验.很多实战内容的示例是很少在网络上找到文档支持。适用hadoop版本：兼顾所有hadoop版本.包括apache、hortonworks和cdh发行版第一部分. mapreducemapreduce工作流程及基本架构回顾运维相关参数调优benchmarkreuse jvm错误感知及speculative执行task日志分析可容忍错误百分比设置及跳过坏记录选择fairescheduler等其他调度器优化忄生能开发相关数据类型选择实现自定义writable数据类型、自定义key一个mapper中输出不同类型valueinputformat/outputformat.原理及定制mapper/reducer/combiner.combiner的使用及其对mapreduce框架优化的作用partitioner定制排序策略groupingcomparator/sortcomparator任务调度原理及修改方法（案例.map/reduce共享slot.按标识精准map/reduce调度）streamingdistributedcachemapreduce任务间依赖counterjobchild参数设置忄生能优化第二部分. hdfshdfs apifuse（c api）压缩hdfs benchmarkdatanode添加及删除多盘支持.磁盘错误感知hdfs raidhdfs block size设置相关问题文件备份数设置hdfs中合并文件第三部分. hadoop工具dfsadmin/mradmin/balancer/distcp/fsck/fs/job监控及报警hadoop配置管理第四部分. hadoop调试log本地模式调试map/reduce任务远程调试第五部分. 问题分析ja危a gc介绍及ja危a进程常用的分析工具jstat、jhat、jmaptop/iostat/netstat/lsof等jstack/kill -3stracenload/tcpdump第六部分.分析示例mapreduce简单分析用mapreduce实现group-by用mapreduce实现倒排索引mapreduce实现直方图mapreduce实现join主讲人： 冼茂源apache hama project pmc。具有在朗讯、sun microsystems、搜狗等通信、传统it以及互联网企业的工作经历。针对互联网具体业务的特殊需求.对hadoop调度机制、安全管理、存储优化、监控及管理系统等进行深度修改。同时.在将hbase与具体查询业务相结合.在实际项目中进行系统问题排查及调优方面有丰富经验
