easyhadoop实战手册让你的hadoop应用飞起来.easyhadoop实战手册让你的hadoop应用飞起来
资源详情
easyhadoop集群部署入门1. 文档概述2. 背景3. 名词解释4. 服务器结构#hadoop试验集群的部署结构#系统和组建的依赖关系#生产环境的部署结构5. red hat linux基础环境搭建#linux 安装 (vm虚拟机)#配置机器时间同步#配置机器网络环境#配置集群hosts列表#下载并安装 ja .va jdk系统软件#生成登陆密钥#创建用户账号和hadoop部署目录和数据目录#检查基础环境6. hadoop 单机系统 安装配置#hadoop 文件下载和解压#配置 hadoop-env.sh 环境变量#hadoop common组件 配置 core-site.xml#hdfs namenode.datanode组建配置 hdfs-site.xml#配置mapreduce – jobtracker tasktracker 启动配置#hadoop单机系统.启动执行和异常检查#通过界面查看集群部署部署成功#通过执行 hadoop pi 运行样例检查集群是否成功#安装部署 常见错误7. hadoop 集群系统 配置安装配置#检查node节点linux 基础环境是否正常.参考 [ linux 基础环境搭建]一节。#配置从master 机器到 node 节点无密钥登陆#检查master到每个node节点在hadoop用户下使用密钥登陆是否正常#配置master 集群服务器地址 stop-all.sh start-all.sh 的时候调用#通过界面查看集群部署部署成功#通过执行 hadoop pi 运行样例检查集群是否成功8. 自动化安装脚本#master 服务器自动安装脚本hive仓库集群部署入门1. 名词解释2. hive的作用和原理说明#数据仓库结构图#hive仓库流程图#hive内部结构图3. hive 部署和安装#安装hadoop集群.看easyhadoop安装文档。#安装mysql.启动mysql.检查gc++包。#解压hive包并配置jdbc连接地址。#启动hive thrift server。#启动内置的hive ui。4. hive cli 的基本用法#登陆查询#查询文件方式#命令行模式5. hql基本语法 (创建表.加载表.分析查询.删除表)#创建表6. 使用mysql构建简单数据集市#mysql的两种引擎介绍#创建一个数据表使用hive cli 进行数据分析#使用shell 编写hsql 并使用hivecli导出数据.使用mysql命令加载到数据库中。#使用crontab 新增每日运行任务定时器7. 使用finereport 数据展现数据#安装finereport.使用注册码!#使用finereport.快速展现数据报表。#finereport 的问题和局限
