跳转至

变更记录

当前 DataFlux Func 版本为 3.x，以往版本均已归档，仅提供下载，不再更新或提供支持。

有关「独立部署版 DataFlux Func」与「观测云附属 Func」的版本对照关系，请参考：

3.7.1（2024-04-28）

  • 修复已知 Bug

3.7.0（2024-04-28）

  • 更换官方脚本市场 URL 地址
  • 总览页面增加业务指标信息
  • 修复文案问题
  • 调整 UI

3.6.0（2024-04-25）

  • 环境变量增加「密码」类。且脚本集导出时，密码类环境变量内容将以空字符串形式导出
  • 所有密码保存处理增加 SALT
  • 观测云数据上报错误使用单独字段「非关键错误」保存
  • 修复已知 Bug
  • 优化代码
  • 优化 UI

3.5.3（2024-04-15）

  • 调整一键安装脚本文案
  • 优化脚本市场部署失败提示

3.5.2（2024-04-12）

  • UI 小调整

3.5.1（2024-04-12）

  • 优化总览界面服务列表

3.5.0（2024-04-12）

  • 总览界面添加服务列表展示
  • TaskTimeout 改为从继承 BaseException，防止被用户代码捕获导致无法中断任务
  • 代码小调整

3.4.6（2024-04-10）

  • 优化基于 git 的脚本市场模块
  • 添加时区缩写表，用于自动转换未知的时区缩写
  • 初始化脚本访问 Func 自身时，自动选择监听的 IP 作为访问目标
  • UI、代码、文案优化，删除无用文件

3.4.5（2024-04-07）

  • 修复 DataFlux Func 一键下载脚本 BUG

3.4.4（2024-04-07）

  • 优化 PIP 工具已安装的 Python 包列表展示

3.4.3（2024-04-03）

  • 修复授权链接、自动触发配置、批处理中，最近执行时间显示错误的问题

3.4.2（2024-04-01）

  • 修复授权链接、自动触发配置无法设置过期时间的问题

3.4.1（2024-03-31）

  • 更新部署脚本，启用自动配置后自动跳过人工交互步骤

3.4.0（2024-03-29）

  • 升级一键安装脚本附带 Docker 到 23.0.6 版本
  • 更新一键下载、安装脚本，支持安装时选择升级 Docker

旧版 DataFlux Func 自带 Docker 版本为 20.10.8，无法启动基础镜像为 Ubuntu 22.04 的容器

3.3.3（2024-03-29）

  • 基础镜像从 Ubuntu 20.04 升级为 Ubuntu 22.04
  • 修复在未指定 cache_result 时，DFF.RESP_LARGE_DATA 失效的问题
  • 修复禁用自动备份 DB 选项无效的问题
  • 优化 UI 界面日志输出，支持复制日志
  • 优化观测云数据上报格式
  • 优化代码，更新相关文档
  • 调整报错 Exception 名称
  • DB 自动备份处理增加容量限制

3.3.2（2024-03-19）

  • 修复 DataKit 无法使用 .write_xxx_many(...) 方法进行批量写入的 BUG
  • 修复文件服务功能可以通过 .. 访问范围外内容的问题
  • 多次登录密码错误后，锁定账号若干分钟

3.3.1（2024-03-18）

  • 优化DFF.THREAD功能

3.3.0（2024-03-14）

  • 自动触发配置支持自定义 Crontab 语法
  • 编辑器增加代码折叠工具
  • DataKit / DataWay 连接器的.write(...)系列方法增加headers参数支持
  • 调整任务日志输出
  • Beat 服务支持同时运行多个，并保证只有其中一个生效
  • 优化最近触发时间记录
  • 观测云数据上报增加错误重试机制
  • 优化DFF.THREAD功能
  • 修复已知 BUG、UI 优化

3.2.2（2024-02-22）

  • 修复观测云连接器调用 DataWay.query(...) 未返回数据的问题

3.2.1（2024-02-22）

  • 修复在安装界面无法配置私有部署观测云的问题
  • 调整独立部署版 docker-stack.example.yaml 文件

3.2.0（2024-02-22）

  • 更新繁体中文支持（基于 OpenCC 转换）
  • 支持脚本内临时调整 Crontab 执行频率
  • 支持重启 Server、Worker
  • 优化 beat，加入卡顿补偿
  • 自动触发配置增加近期任务触发记录
  • 优化函数任务记录处理（关闭本地任务记录时也能记录最近运行状态）
  • DataKit, DataWay 支持 field 数组
  • 调整默认队列配置
  • 调整依赖包版本
  • 调整 _DFF_HTTP_REQUST 返回值
  • 优化前端代码，规避循环引用问题
  • 优化 mysql_helper
  • 自动化脚本生成 OPENSOURCE.md
  • 被动重启改为主动重启
  • 日志输出根据每个 Trace/Task 日志添加行号
  • 修复从脚本市场安装，代码行末空行丢失的问题
  • DFF.CONFIG 可以获取所有配置（敏感配置不显示）
  • 扩充任务记录表 originId 字段长度

调整后的默认队列配置

  1. 系统任务
  2. 用户函数（一般用途）
  3. 用户函数（自动触发）
  4. 用户函数（批处理）
  5. 【空闲】
  6. Debug 运行
  7. 消息订阅
  8. 观测云专用（一般用途）
  9. 观测云专用（自动触发配置）
  10. 观测云专用（自动触发配置-复杂任务）

临时调整自动触发配置的 Crontab

某些情况下，脚本开发者可能需要在脚本中动态得控制函数执行频率。此时，可以使用此功能实现：

Python
1
2
3
4
5
6
# 设置临时频率
DFF.CRONTAB_CONFIG.set_crontab('* * * * *')
# 设置临时频率，并在300秒后自动过期
DFF.CRONTAB_CONFIG.set_crontab('* * * * *', expires=300)
# 清除临时频率
DFF.CRONTAB_CONFIG.clear_crontab()

3.1.0（2024-01-11）

  • 添加全局暂停自动触发配置功能
  • 重构部分系统指标搜集处理（改为 Python 任务）
  • 通过crontab_delay参数多次运行的，统一保证任务之间不会同时运行
  • 任务记录页面区分延迟执行和入队等待时长
  • 调整自动触发配置项顺序
  • 调整数据库连接池数量
  • 调整数据库时区解析错误文案
  • 调整数据库时区读取处理，兼容 Asia/Beijing
  • 删除多余 SQL 内容、无用代码
  • 修复翻译问题
  • 修复函数缓存管理器中，无法对 key 包含斜杠的数据进行操作的问题
  • 其他 UI 优化

3.0.18（2023-12-14）

  • 任务记录页面添加观测云数据上报失败提示
  • 修复无法修改自动触发配置的 BUG
  • 观测云日志上报错误时记录错误

3.0.17（2023-12-13）

  • 优化订阅处理、界面
  • DFF.STORE 过期数据自动清理
  • 区分 CrontabDelay 和 Delay，其中 Delay 为真实延迟 指定Delay + CrontabDelay
  • 任务分布执行策略从「按照序号依次分布」改为「按照 seq 固定分布」
  • UI、默认参数调整

3.0.16（2023-11-21）

  • 修复已知 BUG

3.0.15（2023-11-21）

  • 修复已知 BUG

3.0.14（2023-11-21）

  • Docker Stack 部署用镜像改为固定版本（latest -> x.y.z）
  • 添加 DFF.EXTRA_FOR_GUANCE，用于为自监控数据上报观测云时添加额外 Tags 和 Fields
  • 调整 Crontab.Starter 日志输出
  • 调整任务超时、任务锁定的错误信息
  • 修复操作记录中接口名称语言不正确的问题
  • 同时支持 Crontab 延迟执行（delayed_crontab）和分布执行（_FUNC_TASK_DISTRIBUTION_RANGE）
  • 任务记录在前端页面根据 triggerTimeMs 进行观赏性排序
  • 手动执行 Crontab 忽略 Crontab Delay 选项
  • 调整观测云节点相关 UI、列表获取方式
  • 优化函数选择器：当没有蓝图时，不显示蓝图选项
  • 保证 _DFF_CRONTAB_DELAY 有值（非自动触发执行时为0）
  • 修复已知 BUG

3.0.13（2023-11-07）

  • PIP 工具支持使用自定义 PIP Index URL 进行安装
  • 修复函数调用时参数合并不正确的问题
  • 其他代码优化

3.0.12（2023-11-06）

  • DFF.ENV 等添加保护，防止原始内容被修改
  • Redis 连接器操作对象添加 lpush / rpop 的别名 push / pop

3.0.11（2023-10-30）

  • 修复新建脚本时，未能正确跳转至新脚本的问题
  • 优化任务记录处理
  • 优化订阅器，提供最近消费、消费结果查看
  • 默认配置中 worker-1-6 拆分为 worker-1-5 和 worker-6
  • 脚本保存时，自动去除末尾空格，Tab 转 4 空格，结尾空行
  • 优化 UI、 OpenAPI 文档页面 Swagger 配置
  • 优化内部处理

3.0.10（2023-10-17）

  • 优化底层代码

3.0.9（2023-10-13）

  • PIP 工具 --upgrade 选项默认选中
  • PIP 工具支持如pkg1 pkg2,pkg3的形式进行安装，其中空格分隔的包之间使用单独的 pip install 命令安装；逗号分隔的包在同一个 pip install 命令中安装。

如：微软云 Azure 的 SDK 需要使用 azure-idengity,azure-mgmt-core 方式安装，否则可能出现后一个包覆盖前一个包的问题

3.0.8（2023-10-13）

  • 调整 PIP 工具处理细节

3.0.7（2023-10-13）

  • 优化编辑器输入提示
  • 优化 timezone 处理
  • 自动触发配置上锁处理从 Crontab.Starter（启动器） 移动至 Func.Runner，减少启动器压力
  • 对部分涉及 Crontab 处理添加 LRU 缓存，提高性能
  • 开启了监控数据上报观测云后，系统任务也会将日志上报
  • PIP 工具添加 --upgrade 选项支持
  • 调整部分默认配置
  • 优化代码

3.0.6（2023-10-09）

  • 更新第三方包 DBUtils
  • 调整 DB 连接池相关代码，改为使用 PooledDB
  • 优化导入模块，针对待导入数据自动去除不存在的字段
  • 优化启动时时区判断；修复脚本库无法正常恢复的问题

3.0.5（2023-09-22）

  • 修复 2.x 导出的脚本无法导入最新版的问题
  • 调整任务执行模块日志输出
  • 调整函数延迟处理
  • 调整默认配置
  • UI 优化

3.0.4（2023-09-21）

  • 优化底层代码

3.0.3（2023-09-21）

  • 优化蓝图内置节点 / 钉钉机器人节点
  • 优化蓝图内置节点 / HTTP 请求节点
  • 优化 UI

3.0.2（2023-09-20）

  • 优化 UI

3.0.1（2023-09-20）

  • 修复脚本上下文中_DFF_HTTP_REQUEST内容缺失问题
  • 修复 MySQL 时区为+8:00等非标准格式时，时区处理不正常的问题
  • 优化脚本内 Redis 调用，hdel命令支持同时删除多个字段
  • 优化集成函数运行任务记录
  • 优化时区判断处理
  • 更新观测云测试环境地址
  • 优化 UI

3.0.0（2023-09-15）

DataFlux Func 3.0 正式发布

  • 全新基于 LogicFlow 的蓝图模块
  • 授权链接、自动触发配置、批处理支持选择执行传统函数或者执行蓝图
  • 新建、配置操作改为弹窗式，减少无意义的页面跳转
  • 调整总览页面，提高响应速度，优化队列状态展示
  • 授权链接、自动触发配置、批处理列表页中的任务记录数改为异步获取，提高页面响应速度
  • 优化本地任务记录保存、观测云数据上报处理。并允许关闭本地任务记录，减少数据库压力
  • 优化观测云节点列表获取方式
  • 优化文件管理模块中压缩、解压缩处理
  • 修复 Socket.io 在某些情况下无法正常工作的问题
  • 移除 Celery 框架，改为自行开发的任务调度模块
  • 修复其他累积的 UI 问题、BUG