EFK日志收集系统设计！

ELK是一套完整的日志收集以及展示的解决方案，分别是ElasticSearch、Logstash 和 Kibana。

Logstash：

一个具有实时传输能力的数据收集引擎，用来进行数据收集（如：读取文本文件）、解析，并将数据发送给ES。

Kibana：

提供了分析和可视化的 Web 平台，可以在 Elasticsearch 的索引中查找，交互数据，并生成各种维度表格、图形。

常见架构

这种架构对数据源服务器（即应用服务器）性能影响较大。

因为Logsash是需要安装和运行在需要收集的数据源服务器（即应用服务器）中，然后将收集到的数据实时进行过滤。

过滤环节很耗时间和资源，过滤完成后才传输到ES中。

优化架构

FileBeat采集日志有效降低了收集日志对业务系统的系统资源的消耗。

通过LogStash服务器可以过滤，转换日志，这样即满足了日志的过滤转换，也保障了业务系统的性能。

如果日志文件量特别大，以及收集的服务器日志比较多，需加入消息中间件做一下缓冲。