驴妈妈旅游网站大数据项目实战驴妈妈项目
资源详情
【课程内容】
第1章 大数据基本技能储备
项目介绍hadoop介绍ssh免密码登录ja .va安装hadoop安装及验证shell命令相关配置信息httpfs相关命令集群启动相关命令介绍集群启动相关命令操作hdfs相关命令其他hadoopshell命令hdfs结构介绍windows开发环境搭建hdfsja危aapi介绍mapreduce介绍wordcount实现wordcount运行介绍以及异常解决倒排索引实现inputformat和outputformat介绍自定义inputformat实现自定义outputformat实现案例演示shuffle阶段介绍自定义group+partitioner实现案例damo编写hbase结构介绍hbase安装hbase命令概述及帮助命令使用方式介绍命名空间相关命令介绍hbase shell常用命令介绍scan命令详解其他shell命令介绍ja危a客户端概述以及ja危a开发hbase基本环境搭建hbaseadmin类详细介绍put类详细介绍get和delete类详细介绍scan类和hbase连接池详细介绍环境搭建案例介绍案例mapper及reducer类编写案例执行入口代码编写及异常解决hive介绍mysql安装hive安装hive服务介绍database相关命令介绍hive表类型及创建命令格式介绍hive表创建案例介绍hive&hbase关联介绍导入数据命令介绍select语句介绍join介绍子查询介绍导出数据和其他命令介绍hive函数介绍udf自定义函数实现udaf自定义函数实现udtf自定义函数实现hive自定义函数jar集成方式介绍nginx介绍flume结构介绍flume安装flume简单案例实现nginx+flume+hdfs日志收集案例实现sqoop介绍和安装sqoop基本命令介绍import命令介绍export命令介绍oozie介绍tomcat安装oozie安装oozie workflow工作流介绍oozie workflow编写规则和自定义介绍workflow案例oozie coordinator和bundle介绍highcharts介绍案例介绍基本介绍环境搭建案例测试数据展示框架介绍
第2章 项目需求介绍
bf_track项目总体介绍ja危asdk需求分析介绍jssdk需求分析介绍bf_dataapi项目总体介绍bf_dataapi页面展示介绍bfdataapi的restapi和bftransformer项目结构介绍数据存储结构介绍
第3章 用户行为数据收集模块实现讲解
sdk engine入口类编写sdk monitor数据发送类编写ja危asdk测试jssdk cookieutil对象编写jssdk tracker对象编写jssdk测试
第4章 数据分析模块讲解
useragent解析ip解析eventlogconstants类编写loggerutil日志解析工具类编写analyserlogdatamapper类编写analyserlogdatarunner类编写测试browserdimension类编写datedimension类编写platformdimension类编写dimensionconverter类编写transformeroutputformat类编写新增用户统计mr程序输出类编写newinstallusermapper类编写newinstalluserrudecer类编写newinstalluserrunner类编写newinstalluser代码测试totalinstalluser统计代码编写activeusermapper类编写activeuserreducer类编写activeuserrunner类编写collector输出类编写及测试活跃会员分析memberutil类编写newmembermapper类编写newmemberreducer类和runner类编写测试sessionmapper类编写sessionsreducer类编写sessionsrunner类编写以及测试hourlyactiveuser分析hourlysession相关分析mapper编写reducer和runner编写测试mapper公用代码提取runner公用代码提取统计规则介绍locationdimension类编写
