电子书：《kafka技术内幕图文详解kafka源码设计与实现》《kafka技术内幕图文详解kafka源码设计与实现》
111
内容简介：
tuin图灵原e99⊙②koka技术内幕图文详解kaka源码设计与实现郑奇煌⊙著人民邮电出版社北京图书在版编目(cip)数据kafka技术内幕:图文详解 kafka:源码设计与实现/郑奇煌著.一北京:人民邮电出版社.2017.11图灵原创)isbn978-7-115-46938-0①k…i.①郑….①分布式操作系统一研究中guo版本图书馆cip数据核字(2017)第235945号内容提要kafka自 linkedin开源以来就以高性能、高吞吐量、分布式的特性著称.本书以0.10版本的源码为基础.深入分析了kaka的设计与实现.包括生产者和消费者的消息处理流程.新旧消费者不同的设计方式.存储层的实现.协调者和控制器如何确保 kafka集群的分布式和容错特性.两种同步集群工具mirrormaker和 ureplicator.流处理的两种api以及 kafka的一些高级特性等本书适合 kafka开发人员阅读责任编辑王军责任印制彭志环◆人民邮电出版社出版发行北京市丰台区成寿寺路11号部编100164电子郎件315aptpress.com网址hupi/www.plpress.com.cn大厂聚鑫印刷有限责任公司印刷字数:1191千字17年11月第1版印数:1-4000册年11月河北第1次印刷定价:119.00元读者服务热线010)51095186转600印装质量热线010)81055316反盗版熱线010)81055315广告经营许可证:京东工商广登字20170147号前言apache kafka(简称 kafka)最早是由 linkedin开源出来的分布式消息系统.现在是 apache下的一个子项目.并且已经成为开源领域应用最广泛的消息系统之一。kaka社区也非常活跃.从0.9版本开始. kafka的标语已经从“一个高吞吐量、分布式的消息系统”改为“一个分布式的流平台”如何阅读本书本书主要以0.10版本的kaka源码为基础.并通过图文详解的方式分析 kafka内部组件的实现细节。对于 kafka流处理的一些新特性.本书也会分析0.11版本的相关源码。本书各章的主要内容如下口第1章首先介绍了kaka作为流式数据平台的3个组成.包括消息系统、存储系统和流处理系统.接着从分区模型、消费模型和分布式模型这三个模型介绍了kaka的几儿个基本概念.然后介绍了kaka几个比较重要的设计思路.最后讨论了如何在一台机器上模拟单机模式与分布式模式.以及如何搭建开发环境口第2章从一个生产者的示例开始.引出了新版本生产者的两种消息发送方式。生产者客.户.端通过记录收集器和发送线程.对清息集进行分组和缓存.并为目标节点创建生产请求.发送不同的_代*_节点。接着介绍了与网络相关的kaka通道、选择器、轮询等nio操作。另外还介绍了 scala版本的旧生产者.它使用阻塞通道的方式发送请求。最后.介绍了服务端采用reactor模式处理客.户.端的请求口第3章首先介绍了消费者相关的基础概念.然后从一个消费者的示例开始.引出了基于zookeeper(后面简称zk)的高级消费者api。要理解高级api.主要是要理解消费线程的模型以及变量的传递方式。接着介绍了消费者提交分区偏移量的两种方式。最后.我们举了个低级api的示例。开发者需要自己实现一些比较复杂的逻辑处理.才能保证消费程序的健壮性和稳定性ロ第4章介绍了新版本的消费者。不同于旧版本的消费者.新版本去除了zk的依頼.统一了旧版本的高级api和低级api.并提供了两种消费方式:订阅和分配。新版本引入订阅状态来理消费者的订阅信息.并使用拉取器拉取消息。新版本的消费者没有使用拉取线程.而是采用轮询的方式拉取消息.它的性能比旧版本的消费者更好。另外.还介绍了消费者采用回调器、处理器、_监_听_器、适配器、组合模式和链式调用等实现不同类型的异步请求。最后.我们介绍了新消费者的心跳任务、消费者提交偏移量以及3种消息处理语义的使用方式。口第5章介绍了新版本消费者相关的协调者实现.主要包括“加入组”与“同步组”。每个消费者都有一个客.户.端的协调者.服务端也有一个消费组级别的协调者负责处理所有消费者客户端的请求。当消费组触发再平衡操作时.服务端的协调者会记录消费组元数据的变化.并通过状态机保证消费组状态的正常转换。本章会通过很多不同的示例场景来帮助读者理解消费组相关的实现口第6章介绍了 kafka的存储层实现.包括读写、管理、压缩等一些常用的ri志操作。服务端通过副本管理器处理客.户.端的生产请求和拉取请求。接着介绍了副本机制相关的分区、副本最高水位、复制点等一些概念。最后.介绍了延迟操作接口与延迟缓存。服务端如果不能立即返回响应结果给客.户.端.会先将延迟操作缓存起来.直到请求处理完成或超时口第7章介绍了作为服务端核心的 kafka控制器.它主要负责管理分区状态机和副本状态机.以及多种类型的_监_听_器.比如_代*_节点上线和下线、朋除主题、重新分配分区等。控制器的一个重要职责是选举分区的主副本。不同_代*_节点根据控制器下发的请求.决定成为分区的主副本还是备份副本。另外.我们还分析了本地副本与.远.程.副本的区别.以及元数据缓存的作用口第8章首先介绍了两种集群的同步工具: kafka内置的 mirrormaker和uber开源的 ureplicator。接着.介绍了新版本 kafka提供的连接器框架.以及如何开发一个自定义的连接器。最后.介绍了连接器的架构模型的具体实现.主要包括数据模型、 connector模型和 workers模型口第9章介绍了kaka流处理的两种api:低级 processor api和高级dsl。这一章重点介绍了流处理的线程模型.主要包括流实例、流线程和流任务。我们还介绍了流处理的本地状态存储它主要用来作为备份任务的数据恢复。高级dsl包括两个组件一 stream与 ktable.它们都定义了一些常用的流处理算子操作.比如无状态的操作(过滤和映射等)、有状态的操作(连接和窗口等)。口第10章介绍了 kafka的一些高级特性.比如客.户.端的配额、新的消息格式和事务特性本书相关的示例代码在笔者的 github主页htps:/ github. com/zghxuyuan/kafka-book上。另外.限于篇幅.本书的附录部分会放在个人博客上。此外.本书的源代码和附录部分也可以去图灵社区本书主页(htp:/www.iturng.com.cn/book/1927)免费下载由于个人能力有限.文中的错误在所难免.如果读者在阅读的过程中.发现不妥之处.可以私信我的微博;htps/ weibo. com/xuyuantree.我会定期将勘误更新到个人博客上致谢感谢图灵的编辑王军花老师.是您的辛勤工作让本书的出版成为可能。同时还要感谢许多我不知道名字的幕后工作人员为本书付出的努力感谢冯嘉、时金魁、吴阳平在百忙之中抽出时间给本书写推荐目录第1章 kafka入门…3.1服务使用接收器接客户1.1 kafka流式数据平台2 kafka的基本概念2.3.2处理器使用选择器的轮询处理2.1分区模型网络请求2.2消费模型2.3.3请求通通的请求队列和响应1.2.3分布式型kaka的设计与实现2.3.4 kafka请求处理线文件系的持久化与数据传输23.5服务端的请求处理入1.3..2生产者与消费者第3章消费者:高級api和低級api1……613副本机制和容错处理3.1消费者启动和初始化1.4.1单机模式2消費者客.户.端的线程模型………702分布式模式143.1.3重新刺始化消费者3.2消费者再平衡操作分区的所有权第2章生产者3..2.2为消费者分配分区.2.3创建分区信息对象2.新生产者客.户.端3.2.4美闭和史新拉取线程管理器……802.1.1同萝和异步发送消息3.2.5分区信息对象的偏移量2.1.2客.户.端消息发送线程22393333.3消费者拉取数据822.1.3客.户.端网懿逹接对象2.1.4进择器处理网络请求3.3.2抽象拉取线程2.2旧生产者客.户.端3.3.3消费者拉取线程2.2.1事件处理器处理客.户.端发送的3.4消费者消费消息消息…3.4.1 kaika消息流2.2.2对消息集按風节点和分区进行3.4.2消费者速代消消息3.5消费者提交分区偏移量2.2.3生产者使用阻塞通道发送请求…483.5.1提交偏移量到zk2.3服务端网络连接3.5.2提变偏移量到内部主題…………99
#############################################
