跳转至

采集器「火山云-ES-CLOUD」配置手册

阅读本文前，请先阅读：

使用本采集器前，必须安装「观测云集成 Core 核心包」及其配套的第三方依赖包

1. 配置结构

本采集器配置结构如下：

字段 类型 是否必须 说明
regions list 必须 所需采集的地域列表
regions[#] str 必须 地域 ID。如：'cn-shanghai'
总表见附录

2. 配置示例

指定地域

采集上海地域的数据

Python
1
2
3
collector_configs = {
    'regions': [ 'cn-beijing' ]
}

配置过滤器（可选项）

本采集器脚本支持用户自定义过滤器，让用户通过对象属性筛选出目标资源。过滤器函数返回值为 True｜False

  • True：目标资源需要被采集。

  • False 目标资源不需要被采集

支持筛选的对象属性：

属性 描述
InstanceId 实例 ID
InstanceName 实例名称
Status 状态
UserId 用户 ID
ClusterId 实例所属集群的 ID
TotalNodes 实例的总结点数
Python
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
# 示例：开启过滤器，根据对象的 InstanceId 和 name 属性过滤，配置格式如下：
def filter_instance(instance):
    '''
    采集 instance_id 为 xxxxx 或者 instance_name 为 xxxxx 的实例
    '''
    # return True
    instance_id = instance['InstanceId']
    instance_name = instance['name']
    if instance_id in ['xxxxx'] or instance_name in ['xxxxx']:
        return True
    return False


###### Do not modify the following contents #####
from guance_integration__runner import Runner
import guance_volcengine_es_cloud__main as main


@DFF.API('Volcengine-ES-Cloud Collection', timeout=3600, fixed_crontab='*/15 * * * *')
def run():
    Runner(main.DataCollector(account, collector_configs, filters=[filter_instance])).run()

3. 数据上报格式

数据正常同步后，可以在观测云的「基础设施 / 自定义（对象）」中查看数据。

上报的数据示例如下：

JSON
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
{
  "measurement": "volcengine_es_cloud",
  "tags": {
    "CerebroEnabled": "False",
    "CerebroPrivateDomain": "",
    "CerebroPublicDomain": "",
    "ChargeEnabled": "True",
    "DeletionProtection": "False",
    "ESEipId": "",
    "EnableESPrivateDomainPublic": "False",
    "EnableESPrivateNetwork": "True",
    "EnableESPublicNetwork": "False",
    "EnableKibanaPrivateDomainPublic": "False",
    "InstanceId": "o-xxx",
    "KibanaEipId": "",
    "KibanaPrivateDomain": "https://visual-xxxx:5601",
    "KibanaPublicDomain": "",
    "RegionId": "cn-beijing",
    "Status": "Running",
    "TotalNodes": "2",
    "UserId": "2100xxx",
    "name": "o-xxxx"
  },
  "fields": {
    "CreateTime": "2024-04-03T15:17:41+08:00",
    "ESEip": "xxx",
    "ESPrivateEndpoint": "https://xxxx",
    "ESPrivateIpWhitelist": "",
    "ESPublicEndpoint": "",
    "ESPublicIpWhitelist": "",
    "ExpireDate": "",
    "KibanaConfig": "{Kibana 参数配置}",
    "KibanaEip": "",
    "KibanaPrivateIpWhitelist": "",
    "KibanaPublicIpWhitelist": "",
    "MaintenanceDay": "[实例的可维护日期]",
    "ResourceTags": "[实例的标签信息]",
    "SubInstances": "[企业级 SQL 分析实例配置信息]",
    "TransferInfo": "{数据迁移任务信息}",
    "InstanceConfiguration": "{实例配置详情信息。}",
    "message": "{实例 JSON 数据}"
  }
}

tags、fields 中的字段可能会随后续更新有所变动

tags.name 值为实例 ID，作为唯一标识，fields.message、fields.KibanaConfig、fields.MaintenanceDay、fields.ResourceTags、fields.InstanceConfiguration 均为 JSON 序列化后字符串

X. 附录

请参考火山云官方文档：