电子书：《hadoop集群程序设计与开发》《hadoop集群程序设计与开发》王宏志等20180801
111
内容简介：
hadoop集群程序设计与开发2.8容错机制4.1.1hdfs读数据的过程29.安.全.性4.1.2hdfs写数据的过程2.10小结4.1.3hdfs删除与恢复数据的第3章 hadoop开发环境配置与4.2hdfs常用命令行操作概述搭建21hdfs命令行984.2.2hdfs常用命令行操作3.1.1安装包版本的选择4.3通过web浏览hdfs文件……1053.1.2 hadoop安装先决条件4. 4 hdfs api3.1.3 hadoop安装模式44.1使用 filesystem ap读取数据3.2本地/独立模式搭建命令行21jdk安装与配置44.2使用 file system api写入数据32.2ssh无 –>登.录命令行44.3 filets文件处理3.23 hadoop本地环境参数配置…743.2.4 hadoop本地模式验证3.3伪分布模式搭建74第5章 hadoop的o操作…1183.31配置过程5.1压缩1193.32格式化hdfs5.1.1 hadoop压缩类型3.33 hadoop_进.程_启停与验证5.1.2 compression codec接口4.1 hadoop网络配置5.1.4压缩池…3.42 hadoop集群ssh配置5.1.5 hadoop中使用压缩…34.3时间同步2o序列化类型3.44ip与机器名映射52.1 writable接口……12934.5 hadoop环境配置522java基本类型的 writable封3.4.6 hadoop集群启停与验证3.5基于 hadoop平台的 eclipse开发环境52.3 int writable与 int writable类的搭建adop eclipse插件配置52.5 bytes writable类3.5.2编写第一个 mapreduce程序…88writable类……5.3编译打包及运行程序527 object writable类52.8自定义 writable接口…第4章 hadoop分布式文件5.3基于文件的数据结构5.3.1 sequencefile1415.3.2 mapfile1444.1hdfs工作原理5.4小结
第6章 mapreduce编程7.11内置计数器1467.1.2自定义计数器1887.1.3计数器结果查看1906.1剖析 mapreduce编程过程1477.2最值62由 wordcount理解 mapreduce7.2.1单一最值编程过程6.21准备工作7.3全排序62.2 mapper工作过程3.1全排序业务需求6.2.3 reducer工作过程7.3.2实验数据准备199624job工作过程7.3.3自定义分区实现全排序过程…2006.3 mapreduce类型7.3.4通过抽样实现全排序过程64 mapper输入7.4二次排序6.4.1默认输入格式7.4.1解决方案input输入7.4.2例子21064.3多路径输入7.5连接644自定义输入分片educe端连6.5 shuffle75.2map端连接……5.1 shuffle运行原理…7.6小结…65.2分区第8章初识 hbase22165.3排序170654分组8.1 hbase基础知识6.6 combiner661由 wordcount案例讲解8.1.2 hbase数据模型81.3 hbase体系结构………662由svg案例进一步讲解82 hbase开发环境配置与安装………231combiner…8.2.1 hbase环境配置基本准备7 outputformat输出1786.8编程模型的扩展— flume java8.22 hbase配置文件…………233云计算高级编程模型8.23 hbase独立安装……6.8.1 flumejava结构8.24 hbase伪分布式安装6.8.2 flumejava优化base完全分布式安装69小结8.26 hbase启动、停止、监控……2368.3 hbase基本she操作第7章 mapreduce高级编程1848.32 hbase shell通用命令7.1计数器8.3.3 hbase shell表管理命令
hadoop集群程序设计与开发8.34 hbase shel表操作命令…23893 hiveql基本语法8.35 hbase shel应用举例9.31hive中的数据库84基于 hbase ap|程序设计3.2创建表的基本语法8.4.1管理表结构3.3表中数据的加载8.4.2管理表信息934 hiveql的数据类型93.5数据类型转换84.5协处理器2479.37分区和桶84.6计数器………9.3.8表维护8.4.7 mapreduce与 hbase互操作…2479.4 hiveql基本查询94.1 select…from语句8.5.1 hbase值的存储与读取的42 where语句94.3嵌套 select语句8.52 hbase值存储特点引发的9.4.4hive函数9.4.5 group by语句8.5.3 row key设计遵循的原则n语句8.6 hbase的高性能设计:使用94.7 union all语句310infiniband的rdma94.8 order by和 sort by8.6.1设计语句31086.2优势949含有 sort by的 distribute8.7小结语句第9章初识hive2569.4.10 cluster by语句9.5视图和索引3139.1hive基础知识9.1.1hive的存储结构9.5.2索引1.2hive与传统数据库的比较……2596hive与 hbase集成…31592hive环境安装3189.21hive内嵌模式安装.22hive独立模式安装附录《 hadoop集群程序设计与9.23hive.远.程.模式安装……开发》配套实验课程方案4初识 hive shel简介3199.25java通过jdbc对hive操作…266
非卖品.仅供非商业用途或交流学习使用01第1章初识 hadoop【内容概述】角本图包活式计图大数计0天【知识要点】解 hadoop产生过程、应用场景理解云计算、大数据概念及 hadoop与它们的关系了解 hadoop学习过程及目前 hadoop人才需求情况
非卖品.仅供非商业用途或交流学习使用hadoop集群程序设计与开发1.1为什么要学习 hadoop继工业ge命之后.信息化再次掀起了新的ge命浪潮.数据信息量成指数幂增长.大量数据蕴含的价值成为人们关注的焦点。然而.庞大的数据量存储及计算问题.已成为一种具有挑战性的问题分布式系统解决了大数据时代的数据爆发所带来的高并发的吞吐和大规模数据管理与计算问题。分布式系统是一个其组件分布在联网的计算机上.组件之间通过传递消息进行通信和动作协调的系统.有以下3个主要特征1.并发性对于计算机网络中的数据等共享资源来说.程序执行时并发访问是常见的行为。分布式系统中的多个节点可能会并发地操作一些共享的资源。协调分布式并发操作也成为分布式系统架构与设计中最大的挑战之一副本它是分布式系统提供的一种容错机制.分为数据副本和服务副本。数据副本指在不同节点上持有同一份数据.当某一个节点上存储的数据丢失时.可以从其他节点的副本上读取该数据.这是解决分布式系统数据丢失问题的有效手段。服务副本指多个节点提供同样的服务.每个节点都有能力接受来自外部的请求并进行相应的处理。3.可扩展性分布式系统的核心理念是让多台服.务.器协同工作.完成单台服.务.器无法处理的任务.尤其是高并发或者大数据量的任务。分布式系统由独立的服.务.器通过网络松散耦合组成。提升分布式系统的整体性能是要通过横向扩展(增加更多的服.务.器).而不是纵向扩展(提升每个节点的服.务.器性能)。hadoop是 apache公司旗下的一个开源项目.是一个高效的分布式计算平台.由于其可靠性高效性.以及可以在大量普通计算机集群上部署.被越来越多的企业应用。 hadoop的兴起.简化了数据海量存储及计算这个难题的研究过程1.1.1信息化项目衍生过程自20世纪50年代中期开始.社会形态由工业社会发展到信息社会。信息化(\ informatization或“ informatisation”)项目应运而生.初期阶段项目主要以计算机为载体.以信息内容主体.信息量不大.只要在个人计算机中记录应用即可。随着网络的发展.信息内容的增加.人们的需求也不断地增加.系统集成( system integration.si)成为信息化项目的主体。它通过结构化的综合布线系统和计算机网络技术.将各个分离的设备(如个人计算机)、功能和信息等集成到相互关的、统一和协调的系统之中.使资源达到充分共享.实现集中、高效、便利的管理。随着数据量的进一步激增.以及互联网的飞速发展.大数据处理与计算成为人们要面临的课题.云应用同时为主要研究热点。这一衍生过程宏观上可以从项目应用单位规模演进过程及数据规模演进过程来看1.项目应用单位规模演进过程的特征项目应用单位规模演进过程如图1-1所示.完成了从个人应用→办公楼内数据信息共享→城市间数据信息共享→互联网内相关人员数据信息共享的演进过程。
#############################################
“
