Logstash
Elastic Logstash 是一个 数据采集与转换软件，它被用于 数据采集/编排/集成 等场景。Logstash 是免费且开放的服务器端数 据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。
准备
在参阅本文档使用 Elastic Logstash 时，需要确保如下几点：
-
登录 Websoft9 控制台，然后找到（或安装）Elastic Logstash：
- 我的应用 菜单找到应用
- 应用商店 菜单部署应用
-
应用是基于 Websoft9 安装的
-
应用的用途符合 SSPL-v1 开源许可协议
-
为应用准备配置访问方式：配置域名 或 服务器安全组开启网外端口
入门指南
Websoft9 控制台安装 Logstash 后，通过 "我的应用" 查看应用详情，在 "访问" 标签页中获取登录信息。
采集（输入）数据
在 Logstash 的配置文件中，您需要指定一个或多个输入插件来定义数据的来源。Logstash 提供了许多内置的输入插件，例如 File、TCP、UDP、HTTP 等。您可以根据您 的需求选择适当的输入插件，并配置其相关参数。
过滤数据
如果您需要对采集的数据进行处理或转换，您可以配置一些过滤插件。过滤插件可以帮助您解析、修改或丰富数据。Logstash 提供了多种过滤插件，例如 grok、mutate、date 等。您可以根据数据的结构和需求选择适当的过滤插件，并配置其参数。
输出数据
到 Elasticsearch
到 Kafka
- 先安装 Kafka 插件
- 配置文件中增加一段连接配置
output {
kafka {
bootstrap_servers => "kafka_host:port" # Kafka 服务器的主机和端口
topic_id => "your_topic" # Kafka 主题的名称
}
}
配置选项
- Logstash 配置文件（已挂载）：usr/share/logstash/pipeline/logstash.conf