跳转至

故障排查 / 容器无法正常运行

1. Docker Stack 环境中容器反复重启

此问题一般是由于配置、防火墙、各种白名单配置不正确引起。

具体表现为：

  1. 使用浏览器无法打开页面
  2. 使用 sudo docker ps -a 命令查看容器列表时，发现重启在不断重启
  3. 在部署服务器本机使用 curl http://localhost:8088 返回 curl: (7) Failed to connect to localhost port 8088: Connection refused 错误
  4. 日志文件中不断输出错误堆栈信息

可能原因及解决方案：

可能原因 解决方案
手工修改过配置但配置存在错误 检查修改过的配置文件，检查如 YAML 语法、数据库链接信息是否正确
修改配置指定了外部服务器，但实际网络不通 检查防火墙、阿里云安全组配置、数据库链接白名单等配置
与操作系统存在兼容性问题 见下文 与操作系统存在兼容性问题
Redis 不支持当前系统的 page size 见下文 Redis 不支持当前系统的 page size

与操作系统存在兼容性问题

使用 docker logs {Server 容器 ID} 如发现以下，或类似报错：

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
node[9]: ../src/node_platform.cc:61:std::unique_ptr<long unsigned int> node::WorkerThreadsTaskRunner::DelayedTaskScheduler::Start(): Assertion `(0) == (uv_thread_create(t.get(), start_thread, this))' failed.
 1: 0xb57f90 node::Abort() [node]
 2: 0xb5800e  [node]
 3: 0xbc915e  [node]
 4: 0xbc9230 node::NodePlatform::NodePlatform(int, v8::TracingController*, v8::PageAllocator*) [node]
 5: 0xb1b3d1 node::InitializeOncePerProcess(int, char**, node::InitializationSettingsFlags, node::ProcessFlags::Flags) [node]
 6: 0xb1bc89 node::Start(int, char**) [node]
 7: 0x7f2ca389fd90  [/lib/x86_64-linux-gnu/libc.so.6]
 8: 0x7f2ca389fe40 __libc_start_main [/lib/x86_64-linux-gnu/libc.so.6]
 9: 0xa93f0e _start [node]
Aborted (core dumped)

这可能是由于当前操作系统 / 组件与 Docker 不兼容导致（如：DataFlux Func 2.x 附带的是 Docker 20.10.8，在最新版本的操作系统上可能存在问题）

可以尝试以下方法解决：

升级 DataFlux Func 到最新版，升级过程中，请允许安装脚本同时升级 Docker 版本，详细参见 部署和维护 / 升级和重启 / 升级系统

如果最新版的 DataFlux Func 依然存在上述问题，用户也可以自行下载 Docker 官方二进制执行包，升级更新版本 Docker。

下载请访问 Docker 官方下载 https://download.docker.com/linux/static/stable/

或者阿里云镜像站 https://mirrors.aliyun.com/docker-ce/linux/static/stable/

如 Ubuntu，可使用如下命令升级操作系统组件：

Bash
1
2
3
sudo apt update
sudo apt upgrade
sudo apt dist-upgrade

Redis 不支持当前系统的 page size

官方 Redis 镜像在某些 ARM 版操作系统上启动时，会发生 <jemalloc>: Unsupported system page size 错误，参见：

2. Docker Stack 环境中容器不存在

此问题一般是因为运行环境不正确引起。

具体表现为：

  1. 执行 sudo docker stack ls 可以看到 dataflux-func
  2. 执行 sudo docker ps -a 看不到对应容器
  3. 执行 sudo docker stack ps dataflux-func --no-trunc，发现容器状态不正常

可能原因及解决方案：

可能原因 解决方案
系统中安装的是 Snap 版 Docker 卸载 Snap 版 Docker，重新安装官方途径的 Docker，或使用脚本自带的 Docker
其他 可根据 sudo docker stack ps dataflux-func --no-trunc 中 ERROR 栏目排查

典型例子如下，因为磁盘空间不足无法启动：

3. k8s 环境中容器无法启动

此问题一般是因为宿主机 / k8s 集群问题引起。

k8s 中可能存在如下错误：

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
Events:
  Type     Reason   Age                   From     Message
  ----     ------   ----                  ----     -------
  Warning  Failed   36m                   kubelet  Error: failed to start container "func-server": Error response from daemon: OCI runtime create failed: container_linux.go:367: starting container process caused: process_linux.go:495: container init caused: rootfs_linux.go:60: mounting "/home/cce/kubelet/pods/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/volume-subpaths/user-config/func-server/1" to rootfs at "/home/cce/docker/overlay2/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx/merged/data/user-config-template.yaml" caused: no such file or directory: unknown
  Warning  Failed   36m                   kubelet  Error: failed to start container "func-server": Error response from daemon: OCI runtime create failed: container_linux.go:367: starting container process caused: process_linux.go:495: container init caused: rootfs_linux.go:60: mounting "/home/cce/kubelet/pods/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/volume-subpaths/user-config/func-server/1" to rootfs at "/home/cce/docker/overlay2/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx/merged/data/user-config-template.yaml" caused: no such file or directory: unknown
  Warning  Failed   36m                   kubelet  Error: failed to start container "func-server": Error response from daemon: OCI runtime create failed: container_linux.go:367: starting container process caused: process_linux.go:495: container init caused: rootfs_linux.go:60: mounting "/home/cce/kubelet/pods/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/volume-subpaths/user-config/func-server/1" to rootfs at "/home/cce/docker/overlay2/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx/merged/data/user-config-template.yaml" caused: no such file or directory: unknown
  Normal   Created  35m (x5 over 118d)    kubelet  Created container func-server
  Warning  Failed   35m                   kubelet  Error: failed to start container "func-server": Error response from daemon: OCI runtime create failed: container_linux.go:367: starting container process caused: process_linux.go:495: container init caused: rootfs_linux.go:60: mounting "/home/cce/kubelet/pods/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/volume-subpaths/user-config/func-server/1" to rootfs at "/home/cce/docker/overlay2/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx/merged/data/user-config-template.yaml" caused: no such file or directory: unknown
  Normal   Pulled   33m (x6 over 118d)    kubelet  Container image "harbor.xxx.com/obs/dataflux/dataflux-func:2.7.0" already present on machine
  Warning  BackOff  2m8s (x157 over 36m)  kubelet  Back-off restarting failed container

某个 Func 服务中可能存在如下错误：

Text Only
1
2
3
4
5
6
Traceback (most recent call last):
File "_config.py", line 11, in <module>
CONFIG = yaml_resource.load_config(os.path.join(BASE_PATH, './config.yaml'))
File "/usr/src/app/worker/utils/yaml_resources.py", line 83, in load_config
user_config_content = _f.read()
OSError: [Errno 5] Input/output error

这不是 DataFlux Func 的问题，请检查宿主机 / k8s 集群，如涉及 NAS 的使用，也应检查 NAS 是否存在问题。