跳转至

采集器「阿里云-elasticsearch 日志」配置手册

阅读本文前，请先阅读：

使用本采集器前，必须安装「观测云集成 Core 核心包」及其配套的第三方依赖包

本脚本的代码运行依赖 elasticsearch 实例对象采集，如果未配置 elasticsearch 的自定义对象采集，日志脚本无法采集到日志数据

1. 配置结构

本采集器配置结构如下：

字段 类型 是否必须 说明
regions list 必须 所需采集的地域列表
regions[#] str 必须 地域 ID。如：'cn-hangzhou'
总表见附录
log_types list 必须 所需采集的日志类型列表
log_types[#] str 必须 日志类型。如：'JVMLOG'
详情见下表

log_types（日志类型）赋值含义：

取值 说明
INSTANCELOG 主日志
SEARCHSLOW searching慢日志
INDEXINGSLOW indexing慢日志
JVMLOG GC日志
ES_SEARCH_ACCESS_LOG ES访问日志
AUDIT 审计日志

2. 配置示例

指定地域

采集杭州地域的数据

Python
1
2
3
4
collector_configs = {
    'regions': [ 'cn-hangzhou' ],
    'log_types': ['JVMLOG']
}

3. 数据上报格式

数据正常同步后，可以在观测云的「基础设施-自定义对象」中查看数据。

上报的数据示例如下：

JSON
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
{
  "measurement": "aliyun_elasticsearch_log",
  "tags": {
    "RegionId"       : "cn-hangzhou",
    "esVersion"      : "7.10.0_with_X-Pack",
    "host"           : "10.14.xxx.xxx",
    "instanceId"     : "es-cn-xxxx",
    "name"           : "es-cn-xxxx",
    "paymentType"    : "prepaid",
    "resourceGroupId": "rg-aekzkcwe4dxxxx",
    "serviceVpc"     : "True",
    "status"         : "active"
  },
  "fields": {
    "timestamp"        : 1684304299000,
    "contentCollection": "[ {日志详细信息 JSON 数据}, ...]",
    "message"          : "{实例 JSON 数据}"
  }
}

tags、fields 中的字段可能会随后续更新有所变动

tags.name 值为实例 ID，作为唯一标识，fields.message 为 JSON 序列化后字符串

X. 附录

请参考阿里云官方文档：