脚本开发 / 预执行脚本

于 2.6.18 版本新增

虽然 DataFlux Func 已经提供了 PIP 工具安装第三方 Python 包，但可能会因为缺少依赖库无法正常使用。

如用户需要在 DataFlux Func 中使用 OpenCV 时，除了安装 opencv-python 外，还需要通过 apt 等方式安装依赖库。

否则可能会产生如下问题：

1. 使用预执行脚本解决依赖

为解决此问题，可以向 DataFlux Func 提供预执行脚本，预执行脚本会在 DataFlux Func 启动前执行，借此安装必要的依赖。

具体操作步骤如下：

1.1 准备脚本

DataFlux Func 的镜像基于 Ubuntu:22.04。

以解决上文中的 OpenCV 依赖问题为例，可以准备如下 Bash 脚本。

安装 OpenCV 依赖
apt-get update
apt-get install -y libgl1-mesa-glx libglib2.0-0 libsm6 libxext6 libxrender-dev

将其保存为 prepare-for-opencv.sh 文件。

文件名随意，但必须为 .sh 结尾。为避免不必要的麻烦，文件名不要使用 Unicode 或其他非常规符号

区分运行环境

DataFlux Func 包含 Server 端和 Worker 端。

Server 端主要是 HTTP 服务器，提供 Web 页面和 HTTP API，并不参与 Python 代码执行。
Worker 端为实际的 Python 代码执行服务。

因此，在绝大部分情况下，预执行脚本只需要在 Worker 中执行即可。

需要区分所在环境时，可以读取 $1 ，判断值为 server 还是 worker。

Beat 服务、MySQL 服务、Redis 服务不会执行预执行脚本

用于区分的参考 Bash 代码如下：

只在 Worker 容器执行
if [ $1 != 'worker' ]; then
    exit 0
fi

只在 Server 容器执行
if [ $1 != 'server' ]; then
    exit 0
fi

1.2 上传脚本

预执行脚本存放目录如下：

环境	位置
容器内	`/data/resources/pre-run-scripts/`
宿主机内	`{安装目录}/data/resources/pre-run-scripts/`

用户可以在宿主机将预执行脚本放入其中。

也可以在 DataFlux Func 的文件管理中进入并上传自行编写的预执行脚本：

1.3 重启 Func 并验证

完成所有准备工作后，重新启动 DataFlux Func

回到之前的脚本再次执行，可以看到 opencv-python 库已经可以正确导入了：

2. 预执行脚本执行细节

每次 DataFlux Func 启动时，都会首先检查是否存在预执行脚本。

当存在预执行脚本时，DataFlux Func 按照预执行脚本的名称排序，依次执行，且必须所有的脚本都执行成功后 DataFlux Func 才会正常启动。

如果需要观察预执行脚本的执行过程，可以通过如下命令跟踪：

查看容器日志
docker logs {DataFlux Func 容器 ID} -f

以上文中的预执行脚本为例，可以看到输出如下：

执行日志
[PRERUN SCRIPT] prepare-for-opencv.sh
Hit:1 http://ports.ubuntu.com/ubuntu-ports jammy InRelease
Get:2 http://ports.ubuntu.com/ubuntu-ports jammy-updates InRelease [128 kB]
Get:3 http://ports.ubuntu.com/ubuntu-ports jammy-backports InRelease [127 kB]
Get:4 http://ports.ubuntu.com/ubuntu-ports jammy-security InRelease [129 kB]
Get:5 http://ports.ubuntu.com/ubuntu-ports jammy-updates/universe arm64 Packages [1528 kB]
Get:6 http://ports.ubuntu.com/ubuntu-ports jammy-updates/main arm64 Packages [2960 kB]
Get:7 http://ports.ubuntu.com/ubuntu-ports jammy-updates/restricted arm64 Packages [3920 kB]
Get:8 http://ports.ubuntu.com/ubuntu-ports jammy-backports/main arm64 Packages [82.8 kB]
Get:9 http://ports.ubuntu.com/ubuntu-ports jammy-backports/universe arm64 Packages [33.3 kB]
Get:10 http://ports.ubuntu.com/ubuntu-ports jammy-security/universe arm64 Packages [1230 kB]
Get:11 http://ports.ubuntu.com/ubuntu-ports jammy-security/main arm64 Packages [2656 kB]
Get:12 http://ports.ubuntu.com/ubuntu-ports jammy-security/restricted arm64 Packages [3777 kB]
Fetched 16.6 MB in 18s (923 kB/s)
Reading package lists...
Reading package lists...
Building dependency tree...
Reading state information...
libxext6 is already the newest version (2:1.3.4-1build1).
libxext6 set to manually installed.
The following additional packages will be installed:
  libdrm-amdgpu1 libdrm-common libdrm-nouveau2 libdrm-radeon1 libdrm2 libgl1
  libgl1-amber-dri libgl1-mesa-dri libglapi-mesa libglib2.0-data libglvnd0
  libglx-mesa0 libglx0 libice6 libllvm15 libpthread-stubs0-dev libx11-dev
  libx11-xcb1 libxau-dev libxcb-dri2-0 libxcb-dri3-0 libxcb-glx0
  libxcb-present0 libxcb-randr0 libxcb-shm0 libxcb-sync1 libxcb-xfixes0
  libxcb1-dev libxdmcp-dev libxfixes3 libxrender1 libxshmfence1 libxxf86vm1
  shared-mime-info x11-common x11proto-dev xdg-user-dirs xorg-sgml-doctools
  xtrans-dev
Suggested packages:
  libx11-doc libxcb-doc
The following NEW packages will be installed:
  libdrm-amdgpu1 libdrm-common libdrm-nouveau2 libdrm-radeon1 libdrm2 libgl1
  libgl1-amber-dri libgl1-mesa-dri libgl1-mesa-glx libglapi-mesa libglib2.0-0
  libglib2.0-data libglvnd0 libglx-mesa0 libglx0 libice6 libllvm15
  libpthread-stubs0-dev libsm6 libx11-dev libx11-xcb1 libxau-dev libxcb-dri2-0
  libxcb-dri3-0 libxcb-glx0 libxcb-present0 libxcb-randr0 libxcb-shm0
  libxcb-sync1 libxcb-xfixes0 libxcb1-dev libxdmcp-dev libxfixes3
  libxrender-dev libxrender1 libxshmfence1 libxxf86vm1 shared-mime-info
  x11-common x11proto-dev xdg-user-dirs xorg-sgml-doctools xtrans-dev
0 upgraded, 43 newly installed, 0 to remove and 27 not upgraded.
Need to get 38.4 MB of archives.
After this operation, 163 MB of additional disk space will be used.
Get:1 http://ports.ubuntu.com/ubuntu-ports jammy-updates/main arm64 libglib2.0-0 arm64 2.72.4-0ubuntu2.5 [1435 kB]
Get:2 http://ports.ubuntu.com/ubuntu-ports jammy-updates/main arm64 libglib2.0-data all 2.72.4-0ubuntu2.5 [4656 B]
Get:3 http://ports.ubuntu.com/ubuntu-ports jammy/main arm64 shared-mime-info arm64 2.1-2 [453 kB]
Get:4 http://ports.ubuntu.com/ubuntu-ports jammy/main arm64 xdg-user-dirs arm64 0.17-2ubuntu4 [53.5 kB]
Get:5 http://ports.ubuntu.com/ubuntu-ports jammy-updates/main arm64 libdrm-common all 2.4.113-2~ubuntu0.22.04.1 [5450 B]

...

可以看到，预执行脚本正确执行并安装了所需的依赖包。

3. 替换镜像内的 Python 包

某些情况下，用户在脚本中所需要的包与已经在 Func 镜像中包含的包版本不兼容。

此时，也可以使用「预执行脚本」实现包的替换，如：

安装最新版 simplejson 包
pip install -u simplejson

由于「预执行脚本」在 Func 启动前执行，PIP 安装的包不仅影响用户脚本，也会影响整个 DataFlux Func。

因此，在使用时，请确认这些操作不会影响 DataFlux Func 本身的运行。