跳到主要内容
版本:Next

Logstash

Elastic Logstash 是一个 数据采集与转换软件,它被用于 数据采集/编排/集成 等场景。Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。

控制台

准备

在参阅本文档使用 Elastic Logstash 时,需要确保如下几点:

  • 应用是基于 Websoft9 安装的

  • 应用的用途符合 SSPL-v1 开源许可协议

  • 应用具备访问条件:配置域名服务器安全组开启网外端口

入门指南

Websoft9 控制台安装 Logstash 后,通过 "我的应用" 查看应用详情,在 "访问" 标签页中获取登录信息。

采集(输入)数据

在 Logstash 的配置文件中,您需要指定一个或多个输入插件来定义数据的来源。Logstash 提供了许多内置的输入插件,例如 File、TCP、UDP、HTTP 等。您可以根据您的需求选择适当的输入插件,并配置其相关参数。

过滤数据

如果您需要对采集的数据进行处理或转换,您可以配置一些过滤插件。过滤插件可以帮助您解析、修改或丰富数据。Logstash 提供了多种过滤插件,例如 grok、mutate、date 等。您可以根据数据的结构和需求选择适当的过滤插件,并配置其参数。

输出数据

到 Elasticsearch

参考:Elasticsearch 连接 Logstash

到 Kafka

  1. 先安装 Kafka 插件
  2. 配置文件中增加一段连接配置
    output {
    kafka {
    bootstrap_servers => "kafka_host:port" # Kafka 服务器的主机和端口
    topic_id => "your_topic" # Kafka 主题的名称
    }
    }

配置选项

  • Logstash 配置文件(已挂载):usr/share/logstash/pipeline/logstash.conf

管理维护

故障