跳转至

部署和维护 / 配置和数据文件

本文主要介绍 DataFlux Func 所需的配置和数据文件保存位置。

DataFlux Func 运行所需的各种配置、数据文件,默认都保存在宿主机中,可以在宿主机上直接查看。

默认情况下,安装目录为 /usr/local/dataflux-func

1. 安装目录配置

在首次安装 DataFlux Func 之后,安装脚本会自动记录安装目录,一遍后续升级时自动安装到相同路径。配置文件保存位置如下:

环境 位置
宿主机内 /etc/dataflux-func

2. Docker Stack 配置

默认情况下,Docker Stack 配置文件保存位置如下:

环境 位置
宿主机内 {安装目录}/docker-stack.yaml

3. DataFlux Func 配置

默认情况下,配置文件保存位置如下:

环境 位置
容器内 /data/user-config.yaml
宿主机内 {安装目录}/data/user-config.yaml

4. DataFlux Func 日志

默认情况下,日志文件保存位置如下:

环境 位置
容器内 /data/logs/
宿主机内 {安装目录}/data/logs/

默认情况下,日志文件会根据 logrotate 配置自动回卷并压缩保存,logrotate 配置文件位置如下:

环境 位置
宿主机内 /etc/logrotate.d/dataflux-func

5. DataFlux Func 数据库备份

默认情况下,DataFlux Func 的数据库会自动使用 mysqldump 备份,保存位置如下:

环境 位置
容器内 /data/sqldump/
宿主机内 {安装目录}/data/sqldump/

6. DataFlux Func 资源目录

默认情况下,DataFlux Func 运行期间所产生的文件、数据都保存在资源目录下,保存位置如下:

环境 位置
容器内 /data/resources/
宿主机内 {安装目录}/data/resources/

资源文件目录可能包含以下内容:

宿主机位置 说明
{安装目录}/data/resources/extra-python-packages/ 通过 PIP 工具安装的 Python 包目录
{安装目录}/data/resources/user-python-packages/ 用户本地使用的 Python 包目录
用户可以自行上传 Python 包并在脚本中 import
{安装目录}/data/resources/pre-run-scripts/ 预执行脚本目录
用户可以自行上传 Bash 脚本并在 DataFlux Func 重启时自动运行,详细请参考 脚本开发 / 预执行脚本
{安装目录}/data/resources/script-market/ 脚本市场本地临时文件
{安装目录}/data/resources/.downloads/ 用于下载的临时目录
{安装目录}/data/resources/.uploads/ 用于上传的临时目录

开发者 / 用户也可以自行将所需的其他资源文件存放在资源目录下,以便在脚本中读取使用。

7. 内置 Redis 数据目录

如果您的 DataFlux Func 使用的是自带的 Redis,那么 Redis 的数据保存位置如下:

环境 位置
宿主机内 {安装目录}/redis/

8. 内置 MySQL 数据目录

如果您的 DataFlux Func 使用的是自带的 MySQL,那么 MySQL 的数据保存位置如下:

环境 位置
宿主机内 {安装目录}/mysql/

8.1 数据库表数据

在 DataFlux Func 共用到如下数据库表,表明及其用途如下:

表名 数据 备注
biz_main_api_auth API 认证
biz_main_async_api 异步 API
biz_main_blueprint 蓝图
biz_main_connector 连接器
biz_main_cron_job 定时任务
biz_main_env_variable 环境变量
biz_main_file_service 文件服务
biz_main_func_store 函数存储
biz_main_func 函数
biz_main_operation_record 操作记录
biz_main_script_market 脚本市场
biz_main_script_publish_history 脚本发布历史
biz_main_script_recover_point 脚本还原点
biz_main_script_set_export_history 导出历史
biz_main_script_set_import_history 导入历史
biz_main_script_set 脚本集
biz_main_script 脚本
biz_main_sync_api 同步 API
biz_main_task_record_func 任务记录(函数)
biz_main_task_record 任务记录
wat_main_access_key OpenAPI Access Key
wat_main_system_setting 系统设置
wat_main_user 用户
biz_main_auth_link 授权链接 旧版表,最新表已改用 biz_main_sync_api
biz_main_crontab_config 自动触发配置 旧版表,最新表已改用 biz_main_cron_job
biz_main_batch 批处理 旧版表,最新表已改用 biz_main_async_api
biz_main_batch_task_info 批处理任务信息 旧版表,最新版已弃用
biz_main_crontab_task_info 自动触发任务信息 旧版表,最新版已弃用
biz_main_script_failure 脚本故障信息 旧版表,最新版已弃用
biz_main_script_log 脚本日志信息 旧版表,最新版已弃用
biz_main_task_info 任务信息 旧版表,最新版已弃用
biz_main_task_result_dataflux_func DataFluxFunc 任务结果 旧版表,最新版已弃用
biz_rel_func_running_info 函数执行信息 旧版表,最新版已弃用
wat_main_task_result_example 示例任务记录 旧版表,最新版已弃用

部分表数据可能非常庞大

任务记录(函数)表 biz_main_task_record_func 在重度使用后可能会留下数十 GB 以上的任务记录数据

可以参考 部署和维护 / 系统指标和任务记录 / 关闭本地函数任务记录 关闭「本地函数任务记录」