ELK实时日志分析平台环境部署
一、 核心概念与架构
1. 什么是ELK？
ELK是三个开源软件的缩写，构成一套完整的日志集中管理、搜索分析和可视化解决方案：
- Elasticsearch：分布式搜索和分析引擎，负责存储和索引日志数据。
- Logstash：数据收集、处理和转发管道，负责从各种来源采集日志，进行过滤、解析，然后输出到存储（如ES）。
- Kibana：数据可视化平台，为存储在Elasticsearch中的数据提供Web界面，用于搜索、分析和图表展示。
2. 为什么需要ELK？
解决传统日志分析（如 grep, awk）在分布式、大规模环境下的痛点：
- 日志分散，难以集中管理。
- 海量日志下，文本搜索效率低下。
- 缺乏多维度查询和实时分析能力。
- 无法进行直观的数据可视化。
3. ELK 工作原理
- 数据流：应用/系统产生日志 -> Logstash (Shipper) 收集 -> 消息队列 (如Redis) 缓冲 -> Logstash (Indexer) 处理 -> Elasticsearch 存储/索引 -> Kibana 查询/展示。
- Logstash 处理三阶段：
- Input：从文件、Syslog、Redis、Beats等来源读取数据。
- Filter：使用
grok（解析文本）、mutate（修改字段）、geoip（添加地理位置）等插件对数据进行清洗、解析和丰富。 - Output：将处理后的数据写入Elasticsearch、文件或其它系统。
二、 环境部署详细步骤
1. 基础环境准备
- 系统：CentOS 7.1
- 节点：
elk-node1(192.168.1.160)：Master节点，部署全套ELK及Redis。elk-node2(192.168.1.161)：Slave节点，部署Elasticsearch作为数据/候选主节点。
- 前置操作：关闭防火墙、SELinux。
2. Elasticsearch 集群部署
- 安装：通过配置Yum源安装。
- 关键配置 (
/etc/elasticsearch/elasticsearch.yml)：1
2
3
4
5
6
7cluster.name: huanqiu
node.name: elk-node1
path.data: /data/es-data
network.host: 0.0.0.0
http.port: 9200
# 集群发现配置 (node2上需要添加)
discovery.zen.ping.unicast.hosts: ["192.168.1.160", "192.168.1.161"] - 插件安装：
- Head插件：用于集群管理和数据浏览。
- Kopf插件：用于集群监控。
- 启动与验证：
systemctl start elasticsearch，访问http://<ip>:9200或通过插件界面查看。
3. Logstash 部署与配置
- 安装：通过Yum源安装。
- 核心概念：编写
.conf配置文件，定义input,filter,output部分。 - 配置示例：
- 收集系统日志：从
/var/log/messages读取，输出到ES。 - 收集Nginx JSON日志：配置Nginx输出JSON格式日志，Logstash使用
jsoncodec直接解析。 - 使用
multiline处理多行日志（如Java异常堆栈）。 - 使用
grok过滤器解析非结构化日志。
- 收集系统日志：从
4. Kibana 部署
- 安装：下载解压包，配置
/usr/local/kibana/config/kibana.yml：1
2
3server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://192.168.1.160:9200" - 启动：通过
screen会话在后台运行/usr/local/kibana/bin/kibana。 - 使用：访问Web界面，在 Management -> Index Patterns 中创建索引模式（如
system-*），即可在 Discover 页面查询日志。
5. 引入Redis作为缓冲队列（生产环境推荐）
- 目的：解耦日志收集与处理，提高可靠性，防止ES故障导致数据丢失，并缓冲流量压力。
- 架构：
- Shipper端：各应用服务器的Logstash将日志推送到Redis队列。
- Indexer端：中心服务器的Logstash从Redis队列拉取日志，处理后写入Elasticsearch。
- 配置关键：
- 输出到Redis (Shipper):
1
2
3
4
5
6
7output {
redis {
host => "192.168.1.160"
data_type => "list"
key => "logstash:nginx"
}
} - 从Redis输入 (Indexer):
1
2
3
4
5
6
7input {
redis {
host => "192.168.1.160"
data_type => "list"
key => "logstash:nginx"
}
}
- 输出到Redis (Shipper):
三、 配置要点与问题排查
Elasticsearch 集群优化：
- 设置
discovery.zen.minimum_master_nodes防止脑裂（通常为(master节点数/2) + 1）。 - 调整
ES_HEAP_SIZE（建议不超过物理内存一半，且小于32GB）。 - 规划好索引分片（shard）数量和生命周期（按天/月分割）。
- 设置
Logstash 使用技巧：
- 使用
--configtest参数测试配置文件语法。 - 利用
type字段区分不同日志源，便于后续分流处理。 - 善用 Grok Debugger 在线工具调试
grok匹配模式。
- 使用
Kibana 常见问题：
- 查询超时：在
kibana.yml中调整elasticsearch.requestTimeout设置。 - 字段被分词导致聚合不准：对字符串字段进行聚合时，使用
.raw字段（未分析版本）。
- 查询超时：在
Java环境问题：如果系统Java版本与Logstash要求（通常需要Java 8+）冲突，可在
/etc/sysconfig/logstash和启动脚本中单独为Logstash指定JAVA_HOME。
四、 总结
这份文档完整地展示了从零开始搭建一个具备生产级可靠性的ELK日志平台的过程，涵盖了：
- 理论：ELK组件角色、架构设计（含缓冲队列）。
- 实践：逐步安装、配置、集成各个组件。
- 进阶：多种日志源的收集配置（系统日志、Nginx、Java应用、MySQL慢查询等）、使用Redis解耦、集群配置和基础调优。
通过此部署，可以实现日志的集中采集、实时处理、快速检索和可视化分析，极大提升运维排障效率和系统可观测性。
