电子书：《elkstack权威指南》《elkstack权威指南》
111
内容简介：
the definitive guide to elasticsearch+logstash+kibanalk stack权威指南饶瑈琳◎编著图书在版编目(cip)数据elk stack权威指南/饶环琳编.一北京:机械工业出版社.2015.9(数据分析与决策技术丛书isbn978-7-111-51634-7e…1.绝…ii.数据处理软件一指南iv.tp274-62中guo版本图书馆cip数据核字(2015)第222006号elk stack是以 elasticsearch、 lorstash、 kiana三个开源软件为主的数据处理工具链.是目前开源界最行的实时数据分析解决方案.成为实时ri志处理领域开源界的第一选择.然而. elk stack井不是实时数据分析的灵丹妙药.使用不恰当.反而会事倍功半。本书对 elk stack的原理进行了解副.不仅分享了大量实战案例和实现效果.而且分析了部分源代码.使读者不仅知其然还知其所以然。读者可通过本书快速掌实时ri志处理方法.井搭自己的数据分析系统。本书分为三大部分.共19章。第一部分“ logstash”介留 loastash的安装与配置、场景示例、性能与测试、扩展方安、码解析、件开发等;第二分“ lasticsearch”介绍 lasticseirch的架构原理数据接口用例.性能优化、试和扩展方案、映射与模板的定制、監控方案等;第三部分“ kiana”介绍 kiana3和 kiana4的特点对比.井分别讲解了 kiana3和 kiana4的配置、案倒与源代码解析elk stack权威指南出版发行:机械工业出版社《北家市西城区百万庄大22号郎政:100037责任编料:怕责任校对:黄纪印刷:北京試信伟业印有限公司版次:2015年10月第1版第1次印利开本:186mmx240mm1/16书号:isbn978-7-111-51634-7价79.00元凡购本书.如有缺页.倒页、脱页.由本社发行部客热线010)8837942688361066投稿热线010)88379604版权所有·侵权必究封底无防伪标均为本书法律问:北京大成律师事务所韩光/邹晓东e前言操作系统、应用服务和业务逻辑.都在不停地产生ri志数据。过去.ri志数据基本都存在单机磁盘上.只能用来做临时的事后分析和审计;有 hadoop以后.大家渐渐习惯将ri志收集到hdfs中.然后每天运行 mapreduce任务做统计报表。但是.面对诸如“新上线本过去几分钟在各地反馈如何”“昨天23:40左右这个投诉用户有没有异常”这种即时的开放性问题.传统的ri志处理方案显得非常笨拙和低效.因为解答没有唯一套路.需要尝试下钻挖掘才能得出答案。复杂多变的实时数据分析需求.需要的是灵活快捷的响应处理。 splunk公司正是凭借着自己在这个大数据细分领域的一枝独秀.成为百亿美元级的明星公司。但是splunk每gb高达4500美元的报价.又让人望而却步。直到 elk stack出现后.大家才有了可选择的开源产品elk stack是以 elasticsearch、 logstash、 kiana三个开源软件为主的数据处理工具链在实时数据检索和分析场合.三者通常是配合使用.而且又先后归于 elastic.co公司名下有此简称。elk stack具有如下几个优点口处理方式灵活。 elasticsearch是实时全文索引.不需要像 storm那样预先编程才能使用口配置简易上手。 elasticsearch全部采用json接口. logstash是 ruby dsl设计.都是目前业界最通用的配置语法设计。口检索性能高效。虽然每次查询都是实时计算.但是优秀的设计和实现基本可以达到百亿级数据查询的秒级响应口集群线性扩展。不管是 elasticsearc血集群还是 logstash集群都是可以线性扩展的。口前端操作炫丽。 kiana界面上.只需点击鼠标.就可以完成搜索、聚合功能.生成炫丽的仪表盘。当然. elk stack并不是实时数据分析的灵丹妙药.使用不恰当.反而会事倍功半。我自2014年年初开.q.q.群.交流 elk stack.发现网友们对 elk stack的原理常有误解误用.对实现的效果也多有不能理解或者因过多期望而失望之处。更令我惊奇的是.网友们分布之广.遍及传统企业和互联网公司、开发和运维领域、 linux和 windows平台.大家对非专精领域的知识.一般都缺乏了解.这也成为使用 elk stack的一个障碍。为此.我决定写一本 elk stack技术指南.帮助大家厘清技术细节.分享一些实战案例。本书并不会逐一介绍 elk stack的全部聚合语法或者分词特性.而是从ri志数据处理的角度介绍数据的解析、导入、可视化方式.讲解集群的稳定性和性能优化原理.剖析代码要点并提供 elk stack二次开发实例。本书包括三大部分共19章.各部分可以独立阅读。但对于还没有大规模应用经验的新手.建议按顺序阅读全文第一部分 logstash第1章:人门示例。该章介绍 logstash/及其插件的配置安装方法.自定义配置语言的设计用途.并为不熟悉 linux系统管理的开发人员介绍了多种后台运行方式第2章:插件配置。该章列举 loastash最常用的几十种插件.通过实际示例和效果.讲解各插件的配置细节和用途第3章:场景示例。该章以最常见的运维、网络、开发和数据库场景.介绍 logstash处nginx、 postfix、osce、log4、 mysql、 docker t等ri志的最佳实践。性能与監控。了解 logstash i的性能情况一直是个难题.该章从 logstash设计原理和jm平台本质出发.介绍几种行之有效的检測和监控方案。第5章:扩展方案。该章介绍采用 redis和kaa完成 logstash水平扩展的方案.同时也介绍其他几种ri志收集系统与 logstash的配合方式第6章: logstash源码解析。该章解析 logstash源码中最重要的 pipeline设计.以及第7章:插件开发。该章以最常见的用户登.录记录和地址库解析、 consul数据更新等需求.实际演示1 logstash的自定义 filter、 input和 output插件的编写.同时还涉及了插件打包的 rubygems规范共有 httpclient 2功能项等细节第二部分 elasticseard第8章:架构原理。该章从更高级的架构层面.介绍 elasticsearch分布式设计中涉及稳定性和高性能的部分原理.并由此引发相关的优化配置介绍。另外.还提供了一种针对时序数据索引的读写分离方案.适用于拥有少部分sd设备的用户第9章:数据接口用例。该章介绍 elasticsearch的 restful接口的基础知识.并针对常见的重建索引需求提供两种快速实现方案.为有 spark经验的读者介绍通过 spark streaming接口读写 elasticsearch的方法第10章:性能优化。该章介绍 elasticsearch在ri志处理场景下的读写优化知识和官方荐的 curator工具.其中重点介绍了 elasticsearch中几种不同的 cache的区别和有效场景第11章:測试和扩展方案。该章介绍 elasticsearch在生产环境中需要的一些周边工具比如 puppet配置管理、 shield权限管理、版本升级操作、别名切换流程设计等第12章:映射与模板的定制。该章详细介绍 elasticsearch中的核心类型及其对应的常见映射设置.以及如何通过动态模板简化映射定制操作的复杂度第13章:监控方案。 elasticscarch作为一个分布式系统.也是有一定的运维难度的.因此其本身的监控也相当重要。该章介绍 elasticsearch自带的一系列監控接口.以及由此行生的多种实时或长期的监控方案第14章: elasticsearch在运维监控领域的其他应用。该章介绍 elasticsearch在运维方面的其他运用方式.包括实时过滤接口、定时报警系统设计、时序数据存储和相关性排序等。第三部分 kiana第15章: kiana i的产品对比。该章介绍 kiana3与 kiana4之间.以及它们与 hadoopsplunk之间的差异.方便读者在不同场景需求下选择更正确的工具。第16章: kiana3。该章介绍 kiana3的界面操作方式、面板的配置细节及其效果、动态仪表盘的高级用法.并提供了几种额外权限控制的部署方案第17章: kiana3源码解析。该章以 index. html为入口.介绍 kiana3如何利用 angular. jsclastic. js 7和 jquery. fot. js三大框架实现单页应用。重点解析面板的实现过程.并分别演示了采用facc和agg接口开发一个 kiana3面板的过程第18章: kiana4。该章介绍 kiana4的安装部署和界面操作方式.重点介绍 kiana4提供的几种可视化图表的配置细节和效果.并以几种场景的ri志分析需求演示了 kiana4全新的子聚合功能的效果。最后还介绍了一种采用 phantom. js截图方式记录长期报表数据的第19章: kiana4源码解析。该章介绍 kiana4的界面实现.重点包括其内部orm实现的 courier类、可视化绘图的 visib类等致谢我本人虽然接触 elk stack.较早.但本身专于web和app应用数据方面.动笔以来得到诸多朋友的帮助.详见后面“贡献者名单”。此外.还要特别感谢 elastic co公司的曾勇( medcl)和吴晓刚(wod).曾勇完成 elasticsearch在guo内的启蒙式分享.并主办 elasticsearch中guo用户大会.吴晓刚积极帮助新用户.并最早分享了携程的 elk stackri亿级规模的实
#############################################
