电子书：《深度剖析hadoophdfs》《深度剖析hadoophdfs》
111
内容简介：
内容简介本书基于 hadoop2.7.版本进行分析.全面描述了hdfs2x的核心技术与解决方案。书中描述了hdfs_内.存_存储、异构存储等几大核心设计.包括源码细节层面的分析.对于hdfs的几个主要使用场景也做了细粒度的分析。还分享了作者在实际应用中的解决方案及扩展思路。阅读本书可以帮助读者从架构设计与功能实现角度了解hdfs2x同时还能学习hdfs2x框架中优秀的设计思想、设计模式、java语言技巧等。这些对于读者全面提高自己分布式技术水平有很大的帮助。本书分为三大部分:核心设计篇、细节实现篇、解决方案篇“核心设计篇”包括hdfs的数据存储原理、hdfs的数据管理与策略选择机制、hdfs的新颖功能特性;“细节实现篇”包括hdfs的块处理、流量处理等细节.以及部分结构分析;“解决方案篇”包括hdfs的数据管理、hdfs的数据读写、hdfs的异常场景等。本书适合于云计算相关领域研发人云计算相关运维工程师、高年级本科生或研究生、热衷于分布式计算研究的人。
s技术丛书深度剖析hadoop hdfs林意群◎编著q想业出
图书在版编目(cip)数据深度剖析 hadoop hdfs/林意群编著.一北京:机械工业出版社.2017.3(大数据技术丛isbn978-7-111-56207-8深林…ⅲ.数据处理软件iv.tp274中guo版本图书馆cip数据核字(2017)第040479号深度剖析 hadoop hdfs出版发行:机械工业出版社(北京市西城区百万庄大衡22号政编码:100037责任编辑:吴怕责任校对:李秋荣刷:北京诚信伟业印刷有限公司2017年4月第1版第1次印刷开本:186mmx240mm1/16书号:isbn978-7-111-56207-8定价:79.00元如有缺页、倒页.脱页010}8837942688361066投稿热线010)88379604010)683262948837964968995259读者信箱;[email protected]版权所有·侵权必究封底无防伪标均为盗版本书法律顾问:北京大成律师事务所韩光/邹晓东
前言我上大学时.就开始在csdn上写技术博客.目的在于记录平时遇到的研究的技术细节.好在将来可以进行查阅。随着时间的增长.我开始专注于某个技因为这样可以让我对具体某项技术有更深入的研究.写出的内容也会更加系统化.而hdfs研究的技术模块。同时作为一名 hadoop社区的活跃贡献者.我也会将社区上一些比较有意思的东西分享到博客上.许多博友给了不少反馈.描述他们在工作中碰到的一些实际问题。在这样不断的写作、交流过程中.我得到了快速成长。目前大数据领域相关的书籍并不是很多.而专门讲解其中一个模块的书则更少.所以我将我过去一年多时间内关于hdfs的博客文章进行了整理、改进.同时也加入了一些新的内容。可以这么说.本书的内容源自博客.但是超越博客本书不会是纯源码分析的书籍。首先.我把工作实践中遇到的许多经验写入了书中第7章便属于纯实践型的经验总结。其次.本书会是一个比较“新”的书.这里的“新并不是指所分析的代码版本新.而是包含了hdfs未来的一些比较棒的功能特性.以及hadoop社区目前在做的一些事情。在这本书中.你会看到许多与社区相关的jra.了解如何从社区上找到问题的解决办法。期待本书能给你带来更多的启发本书适合具有一定java语言基础的同学.尤其适合以下读者朋友口大数据架构师、开发者、运维工程师口高年级本科生或研究生。热衷于分布式存储技术的爱好者。本书分为三大部分.“核心设计篇”介绍hdfs的基本原理、数据管理与策略等.“细实现篇”介绍hdfs的块处理、流量处理、结构分析等.“解决方案篇”介绍数据管理技术与方案、数据读写技术、异常处理等第一部分“核心设计篇”包括内容如下第1章介绍hdfs现有的数据存储方式.主要介绍其中的_内.存_存储和异构存储两个方面
2章介绍hdfs目前内部几种主要的功能机制.包括缓存管理、快照管理等第3章介绍hdfs比较新颖的一些功能.以及目前较少被人用到的功能特性。第二部分“细节实现篇”包括内容如下4章介绍hdfs的块处理相关操作.主要处理场景包括块如何组织、上报处理的过程以及多余块的清除第5章介绍hdfs的流量处理过程.包括hdfs目前流量处理的场景以及 balancer工具的数据平衡原理和优化第6章介绍hdfs一些特殊的结构对象类.包括这些类的作用、原理以及运用场景。第三部分“解决方案篇”包括内容如下第7章介绍与hdfs相关的多套运维管理的操作方案.包括数据迁移、数据监控等方面第8章介绍hdfs写磁盘时的一些优化策略和改造方案。9章介绍hdfs的一些异常场景.并给出了相应的解决方案由于笔者水平有限.本书难免会有出错或者介绍不明确的地方.恳请读者批评指正可以发送关于本书的意见和建议到我的个人邮箱:yqin@ apache. org。本书所涉及的源码大家可以从 hadoop的git地址上进行下载:htp;/ github. com/apache/hadoop.其中.不同的分支对应不同版本的代码。相关git地址和csdn博客地址如下口git地址:htps:/ github. com/linyiqun口csdn地址:htp:/ blog. csdn. net/androidlushangderen感谢机械工业出版社的吴怡编辑.在我写作的过程中.不断指出其中的不足之处.督促和引导我完成本书的编写。感谢蘑菇街数据平台部的同事们.在工作中不断地给予我帮助和支持.协助我解决各种各样的问题.于是才有了本书中所展现的精彩内容林意群17年2月
