实战Elasticsearch、Logstash、Kibana

2015年5月第1章概述

1.1Elasticsearch的安装与简单配置

1.2走近Elasticsearch

1.2.1Elasticsearch是什么

1.2.2Elasticsearch中涉及到的相关概念

1.2.3Elasticsearch API的简单使用方式

1.2.4Elasticsearch RTF版本中的部分插件简介

1.2.5Elasticsearch 基本架构

1.3Elasticsearch索引及其构建

1.3.1概述

1.3.2借助Head工具构建索引

1.3.3Mapping简述

1.4信息检索及其构建

1.5实例

1.6扩展知识与阅读

1.7本章小结

第2章文档索引及管理

2.1文档索引概述

2.2建立索引

2.3通过映像Mapping配置索引

2.3.1在索引中使用映像

2.3.2管理/配置映像

2.3.3获取映像信息

2.3.4删除映像

2.4管理索引文件

2.4.1打开、关闭、检测、删除索引文件

2.4.2清空索引缓存

2.4.3刷新索引数据

[1][2][1][3]2.4.4优化索引数据

2.4.5Flush操作

2.5设置中文分词器

2.6对文档的其他操作

2.6.1获取指定的文档信息

2.6.2删除文档中的信息

2.6.3数据更新

2.6.4基于POST方式批量获取文档

2.6.5删除部分文档

2.7扩展知识与阅读

2.8本章小结

第3章信息检索与结果过滤

3.1实验数据集描述

3.2简单检索

3.3基本检索

3.3.1设置不同字段的排序权重

3.3.2指定返回的字段子集

3.3.3Term查询、Terms查询、Wildcard通配符查询

3.3.4Match、Match_all、Match_phrase查询

3.3.5Query_string查询

3.3.6Prefix、Range查询

3.3.7More_like_this、Fuzzy_like_this查询

3.3.8跨字段检索

3.4Filter概述

3.5常用Filter及其应用

3.5.1And Filter及Or Filter

3.5.2Bool Filter

3.5.3Exists Filter和Missing Filter

3.5.4Type Filter

3.5.5Match_all Filter

3.5.6Not Filter

3.5.7Query Filter

3.6复合查询

3.7结果排序

3.8扩展知识与阅读

3.9本章小结

第4章信息统计分析与搜索提示

4.1Facets概述

4.2各种不同的Facets统计

4.2.1Terms Facets: 指定字段的分布情况统计

4.2.2Range Facets: 在某个范围的分布情况统计

4.2.3Histogram Facets

4.2.4Date_histogram Facets

4.2.5Statistical Facets

4.2.6Terms_stats Facets

4.3Aggregations

4.3.1概述

4.3.2最值、求和、均值统计

4.3.3Stats Aggregations及Extended Stats Aggregations

4.3.4Terms Aggregations

4.3.5Range Aggregations

4.3.6Date_range Aggregations

4.3.7Histogram Aggregations

4.3.8Date_histogram Aggregations

4.3.9Filter Aggregations

4.3.10Missing Aggregations

4.4搜索提示

4.5扩展知识与阅读

4.6本章小结

第5章Elasticsearch部分功能的Java客户端实现

5.1Elasticsearch节点实例化

5.1.1通过Maven添加对Elasticsearch依赖

5.1.2初始化Elasticsearch Client

5.2索引数据

5.2.1准备JSON数据

5.2.2索引JSON数据

5.3对索引文档的操作

5.3.1获取索引文档

5.3.2删除索引文档

5.3.3更新索引文档

5.3.4批量操作索引文件

5.3.5简单的统计操作

5.4信息检索

5.4.1概述

5.4.2MultiSearch

5.4.3Query DSL概述

5.4.4MatchQuery

5.4.5MatchAllQuery

5.4.6MultiMatchQuery

5.4.7BoolQuery

5.4.8TermQuery

5.4.9WildcardQuery

5.4.10QueryString

5.4.11MoreLikeThis

5.4.12Filter概述

5.4.13TermFilter

5.4.14ExistsFilter

5.4.15MatchAllFilter

5.4.16QueryFilter

5.4.17RangeFilter

5.4.18TypeFilter

5.4.19过滤器间的组合: BoolFilter、NotFilter、OrFilter、AndFilter

5.5统计分析

5.5.1Facets

5.5.2Aggregations

5.6对检索结果的进一步处理

5.6.1控制每页的显示数量及显示排序依据

5.6.2基于Scroll方法的检索结果及其分页

5.6.3高亮显示检索词

5.7扩展知识与阅读

5.8本章小结

第6章Elasticsearch配置与集群管理

6.1Elasticsearch部分基本配置及其说明

6.2提高索引和查询效率的策略

6.3监控集群状态

6.4控制索引分片与副本分配

6.5扩展知识与阅读

6.6本章小结

第7章基于Logstash的日志处理

7.1概述

7.2Input: 处理输入的日志数据

7.2.1处理基于File方式输入的日志信息

7.2.2处理基于Generator产生的日志信息

7.2.3处理基于Log4j的日志信息

7.2.4处理基于Redis的日志信息

7.2.5处理基于Stdin方式输入的信息

7.2.6处理基于TCP传输的日志数据

7.2.7处理基于UDP传输的日志数据

7.3Codecs: 格式化日志数据

7.3.1JSON格式

7.3.2Rubydebug格式

7.3.3Plain格式

7.4基于Filter的日志处理与转换

7.4.1JSON Filter

7.4.2Grok Filter

7.4.3Kv Filter

7.5Output: 处理输出的日志数据

7.5.1将处理后的日志输出到Elasticsearch中

7.5.2将处理后的日志输出至文件中

7.5.3将处理后的部分日志输出到csv格式的文件中

7.5.4将处理后的日志输出到redis中

7.5.5将处理后的部分日志通过UDP协议输出

7.5.6将处理后的部分日志通过TCP协议输出

7.5.7将收集到的日志信息传输到自定义的HTTP接口中

7.6扩展知识与阅读

7.7本章小结

第8章基于Kibana的数据分析可视化

8.1安装Kibana

8.2Kibana概述

8.2.1在仪表盘上添加新行

8.2.2在行中添加新面板

8.2.3设置Query和Filtering

8.3常用面板类型

8.3.1Histogram

8.3.2Table

8.3.3Map和Bettermap

8.3.4Terms

8.3.5Text

8.3.6Sparklines

8.3.7Trends

8.4网站性能监控可视化应用的设计与实现

8.4.1概述

8.4.2Page View

8.4.3响应/请求时间

8.4.4流量走势与统计

8.4.5状态码监控

8.4.6UA行

8.5Kibana V4简介

8.5.1新建视图

8.5.2建立Dashboard

8.5.3配置

8.6扩展知识与阅读

8.7本章小结

第9章网络信息检索与分析实践

9.1信息采集

9.2基于Python的信息检索及Web端设计

9.2.1安装Python及Django

9.2.2安装Elasticsearch的Python插件

9.2.3Web页面设计

9.3基于Logstash的日志处理

9.3.1安装和配置Nginx

9.3.2设计面向日志文件的Pattern

9.3.3在Logstash中进行相关配置

9.4基于Kibana的日志分析结果可视化设计与实现

9.4.1图表1: 状态码走势分析

9.4.2图表2: 查询词分析

9.4.3图表3: 分析各状态码随时间的变迁情况

9.4.4集成上述图表

9.5扩展知识与阅读

9.6本章小结

参考文献

对大数据的搜索与挖掘，在当今网络时代是很有必要的。本书提出的分布式大数据搜索与日志挖掘及可视化解决方案是基于Elasticsearch、Logstash和Kibana而形成的，它能有效应对海量大数据所带来的分布式存储与处理、全文检索、日志挖掘、可视化等的挑战。构建在全文检索开源软件Lucene之上的Elasticsearch，不仅能对海量规模的数据完成分布式索引与检索，还能提供数据聚合分析；Logstash能有效处理来源于各种不同数据源的日志信息；Kibana能得出可视化分析结果。本书讲解有关Elasticsearch、Logstash、Kibana的使用，相关内容以模块化的方式进行组织，注重实战，强调实践，内容新颖，组织合理。本书可为高校相关专业（如计算机科学与技术、软件工程、情报学、图书馆学、信息管理与信息系统）学生的学习和科研工作提供帮助，同时对于从事大数据搜索与挖掘、信息检索与智能处理技术的工程技术人员和希望了解网络信息检索与分析技术的爱好者也具有较高的参考价值。

高凯编著的《实战Elasticsearch Logstash
Kibana--分布式大数据搜索与日志挖掘及可视化解决方案》从分布式大数据搜索、日志挖掘与可视化三个角度出发，以非结构化文本信息、半结构化的日志数据为处理对象，进行宏观解决方案与微观方法技巧全面阐释。具体地说，如何利用在全文检索开源软件Lucene之上的Elasticsearch对大数据进行分布式计算与全文检索；如何利用Logstash对日志文件智能分析与处理；如何利用Web接口Kibana对日志进行高效的搜索、可视化、分析等各种操作是，是本书的论述重点。