跳转至

采集器「Logstash」配置手册

使用本采集器前，必须安装「Logstash」并确保其正常运行

1. 配置示例

1.1 在 脚本文件 中配置 logstash 采集器 URL

Python
1
2
# 配置 logstash 采集器 URL
LOGSTASH_URL = "http://localhost:9600/_node/stats/pipelines?pretty"

需要用户在 pipelines.yml 中配置 pipeline.id 字段以区分需要采集的 pipeline

访问地址：

Text Only
1
2
# 需要用户配置对应 port，多个实例共用一个采集器
curl -XGET 'localhost:9600/_node/stats/pipelines?pretty'

默认情况下，监控 API 会尝试绑定到 tcp:9600. 如果此端口已被另一个 Logstash 实例使用，则需要使用 --api.http.port 指定的标志启动 Logstash 以绑定到不同的端口

1.2 创建观测云连接器

在「 管理 / 实验性功能 」中，启用「 观测云连接器 」

前往「开发 / 连接器 / 添加连接器」，类型选择「观测云」，并填入相关配置参数(本脚本要求 ID 值为 "Guance")。

API Key 获取方式请参考 附录 [ 观测云文档 / 工作空间管理 / API Key 管理 ]

2. 数据上报格式

数据正常同步后，可以在观测云的「指标 / 指标分析」中查看数据。

上报的数据示例如下：

JSON
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
{
    "fields": {
      "logstash_codecs_queue_push_duration_in_millis" : 207,
      "logstash_events_duration_in_millis"            : 349273,
      "logstash_events_failed"                        : 2,
      "logstash_events_in"                            : 345833,
      "logstash_events_out"                           : 345831,
      "logstash_filters_queue_push_duration_in_millis": 1194,
      "logstash_inputs_queue_push_duration_in_millis" : 0,
      "logstash_outputs_queue_push_duration_in_millis": 13177,
      "logstash_reloads_failures"                     : 0
    },
    "measurement": "logstash",
    "tags": {
      "host"     : "xxx",
      "pipeline" : "xxx",
      "port"     : "9600"
    }
}

部分字段说明如下：

字段 类型 说明
logstash_events_in Integer logstash 输入事件条数
logstash_events_out Integer logstash 输出事件条数
logstash_events_failed Integer logstash 错误条数
logstash_events_duration_in_millis Integer logstash 事件延迟 单位：ms
logstash_inputs_queue_push_duration_in_millis Integer logstash 队列阶段延迟 单位：ms
logstash_codecs_queue_push_duration_in_millis Integer logstash codecs 阶段延迟 单位：ms
logstash_filters_queue_push_duration_in_millis Integer logstash 过滤阶段延迟 单位：ms
logstash_outputs_queue_push_duration_in_millis Integer logstash 输出阶段延迟 单位：ms
logstash_reloads_failures Integer logstash 重载失败次数 单位：次

3. 常见错误

Text Only
1
2
[2023-xx-xx xx:xx:xx.xxx] [+0ms] >>>>>>>>>>>>> 提示信息：连接器配置异常！请修改连接器配置 <<<<<<<<<<<<<<<<
[2023-xx-xx xx:xx:xx.xxx] [+0ms] Connector not found: `Guance`

请检查连接器配置是否正确；参照 1.2 创建观测云连接器