计一次podman无法启动问题排查
错误信息
[root@localhost ~]# podman start node
ERRO[0000] Error adding network: failed to allocate for range 0: 10.88.0.137 has been allocated to c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1, duplicate allocation is not allowed
ERRO[0000] Error while adding pod to CNI network "podman": failed to allocate for range 0: 10.88.0.137 has been allocated to c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1, duplicate allocation is not allowed
Error: unable to start container "node": error configuring network namespace for container c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1: failed to allocate for range 0: 10.88.0.137 has been allocated to c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1, duplicate allocation is not allowed
触发原因
- 升级了podman
[root@localhost ~]# yum history
ID | 命令行 | 日期和时间 | 操作 | 更改
-------------------------------------------------------------------------------
6 | reinstall podman | 2020-05-10 21:22 | R | 2
5 | update podman | 2020-05-08 00:54 | I, U | 9 EE
4 | install telnet | 2019-12-26 14:34 | Install | 1
3 | | 2019-11-30 01:27 | Install | 1
2 | | 2019-11-30 01:26 | I, U | 2
1 | | 2019-11-30 01:04 | Install | 1318 EE
[root@localhost ~]# yum history list podman
ID | 命令行 | 日期和时间 | 操作 | 更改
-------------------------------------------------------------------------------
6 | reinstall podman | 2020-05-10 21:22 | R | 2
5 | update podman | 2020-05-08 00:54 | I, U | 9 E<
2 | | 2019-11-30 01:26 | I, U | 2 >
1 | | 2019-11-30 01:04 | Install | 1318 EE
[root@localhost ~]# yum history info 5
事务 ID： 5
起始时间 ： 2020年05月08日 星期五 00时54分47秒
起始 RPM 数据库 ： 1306:dd4746f34319aa93d15ffd57fc28167886c5e1ea
结束时间 ： 2020年05月08日 星期五 00时54分54秒 （7 秒）
结束 RPM 数据库 : 1309:c49b6de09a868c80c4e4ba4cf4a8e065c52a2702
用户 ： root <root>
返回码 ： 成功
Releasever : 8
命令行 ： update podman
已改变的包：
安装 conmon-2:2.0.6-1.module_el8.1.0+298+41f9343a.x86_64 @AppStream
安装 podman-manpages-1.6.4-4.module_el8.1.0+298+41f9343a.noarch @AppStream
安装 libvarlink-18-3.el8.x86_64 @BaseOS
Upgrade containernetworking-plugins-0.8.3-4.module_el8.1.0+298+41f9343a.x86_64 @AppStream
Upgraded containernetworking-plugins-0.7.4-3.git9ebe139.module_el8.0.0+58+91b614e7.x86_64 @@System
Upgrade podman-1.6.4-4.module_el8.1.0+298+41f9343a.x86_64 @AppStream
Upgraded podman-1.0.5-1.gitf604175.module_el8.0.0+194+ac560166.x86_64 @@System
Upgrade podman-docker-1.6.4-4.module_el8.1.0+298+41f9343a.noarch @AppStream
Upgraded podman-docker-1.0.5-1.gitf604175.module_el8.0.0+194+ac560166.noarch @@System
Upgrade runc-1.0.0-64.rc9.module_el8.1.0+298+41f9343a.x86_64 @AppStream
Upgraded runc-1.0.0-55.rc5.dev.git2abd837.module_el8.0.0+58+91b614e7.x86_64 @@System
Upgrade slirp4netns-0.4.2-3.git21fdece.module_el8.1.0+298+41f9343a.x86_64 @AppStream
Upgraded slirp4netns-0.1-2.dev.gitc4e1bc5.module_el8.0.0+58+91b614e7.x86_64 @@System
Upgrade libseccomp-2.4.1-1.el8.x86_64 @BaseOS
Upgraded libseccomp-2.3.3-3.el8.x86_64 @@System
Scriptlet 输出：
1 /var/tmp/rpm-tmp.hW2QKt:行1: /usr/bin/podman: 权限不够
[root@localhost ~]# yum history info 2
事务 ID： 2
起始时间 ： 2019年11月30日 星期六 01时26分17秒
起始 RPM 数据库 ： 1303:6605b8b7fc9e4d18455acb1314ea9477b94b0439
结束时间 ： 2019年11月30日 星期六 01时26分20秒 （3 秒）
结束 RPM 数据库 : 1304:6eb00bd598038a50d03f4350bd30521a7d697fb2
用户 ： root <root>
返回码 ： 成功
Releasever :
命令行 ：
已改变的包：
安装 podman-docker-1.0.5-1.gitf604175.module_el8.0.0+194+ac560166.noarch @AppStream
Upgrade podman-1.0.5-1.gitf604175.module_el8.0.0+194+ac560166.x86_64 @AppStream
Upgraded podman-1.0.0-2.git921f98f.module_el8.0.0+58+91b614e7.x86_64 @@System
[root@localhost ~]# yum info podman
上次元数据过期检查：0:17:56 前，执行于 2020年05月10日 星期日 21时21分10秒。
已安装的软件包
名称 : podman
版本 : 1.6.4
发布 : 4.module_el8.1.0+298+41f9343a
架构 : x86_64
大小 : 55 M
源 : podman-1.6.4-4.module_el8.1.0+298+41f9343a.src.rpm
仓库 : @System
来自仓库 : AppStream
小结 : Manage Pods, Containers and Container Images
URL : https://podman.io/
协议 : ASL 2.0
描述 : podman (Pod Manager) is a fully featured container engine that is a simple daemonless tool. podman provides a Docker-CLI comparable command line that eases the transition from other container engines and allows the management of pods, containers and
: images. Simply put: alias docker=podman. Most podman commands can be run as a regular user, without requiring additional privileges.
:
: podman uses Buildah(1) internally to create container images. Both tools share image (not container) storage, hence each can use or manipulate images (but not containers) created by the other.
:
: Manage Pods, Containers and Container Images
: libpod Simple management tool for pods, containers and images
- 关闭又开启了firewalld，并开放了tcp端口,[不应该开启firewall，docker走的是iptable系的]
- selinux开放了ssh端口
semanage port -a -t ssh_port_t -p tcp
podman详情
[root@localhost ~]# podman info --debug
debug:
compiler: gc
git commit: ""
go version: go1.13.4
podman version: 1.6.4
host:
BuildahVersion: 1.12.0-dev
CgroupVersion: v1
Conmon:
package: conmon-2.0.6-1.module_el8.1.0+298+41f9343a.x86_64
path: /usr/bin/conmon
version: 'conmon version 2.0.6, commit: 2721f230f94894671f141762bd0d1af2fb263239'
Distribution:
distribution: '"centos"'
version: "8"
MemFree: 5398528
MemTotal: 500600832
OCIRuntime:
name: runc
package: runc-1.0.0-64.rc9.module_el8.1.0+298+41f9343a.x86_64
path: /usr/bin/runc
version: 'runc version spec: 1.0.1-dev'
SwapFree: 1979969536
SwapTotal: 2147479552
arch: amd64
cpus: 1
eventlogger: journald
hostname: localhost.localdomain
kernel: 4.18.0-80.el8.x86_64
os: linux
rootless: false
uptime: 9m 28.96s
registries:
blocked: null
insecure: null
search:
- registry.redhat.io
- quay.io
- docker.io
store:
ConfigFile: /etc/containers/storage.conf
ContainerStore:
number: 23
GraphDriverName: overlay
GraphOptions: {}
GraphRoot: /var/lib/containers/storage
GraphStatus:
Backing Filesystem: xfs
Native Overlay Diff: "true"
Supports d_type: "true"
Using metacopy: "false"
ImageStore:
number: 30
RunRoot: /var/run/containers/storage
VolumePath: /var/lib/containers/storage/volumes
问题排查
1） 切换老版本
[root@localhost ~]# yum downgrade podman
上次元数据过期检查：0:20:56 前，执行于 2020年05月10日 星期日 21时21分10秒。
软件包 podman 的最低版本已经安装，无法再进行降级。
错误：没有标记要降级的软件包。
无法自动降级
[root@localhost ~]# yum search --showduplicates podman
上次元数据过期检查：0:23:51 前，执行于 2020年05月10日 星期日 21时21分10秒。
============================================================================================================================ 名称 精准匹配：podman ============================================================================================================================
podman-1.6.4-4.module_el8.1.0+298+41f9343a.x86_64 : Manage Pods, Containers and Container Images
podman-1.6.4-4.module_el8.1.0+298+41f9343a.x86_64 : Manage Pods, Containers and Container Images
========================================================================================================================== 小结 和 名称 匹配：podman ==========================================================================================================================
python-podman-api-1.2.0-0.2.gitd0a45fe.module_el8.1.0+298+41f9343a.noarch : Podman API
podman-tests-1.6.4-4.module_el8.1.0+298+41f9343a.x86_64 : Tests for podman
podman-docker-1.6.4-4.module_el8.1.0+298+41f9343a.noarch : Emulate Docker CLI using podman
podman-docker-1.6.4-4.module_el8.1.0+298+41f9343a.noarch : Emulate Docker CLI using podman
podman-manpages-1.6.4-4.module_el8.1.0+298+41f9343a.noarch : Man pages for the podman commands
podman-manpages-1.6.4-4.module_el8.1.0+298+41f9343a.noarch : Man pages for the podman commands
cockpit-podman-11-1.module_el8.1.0+298+41f9343a.noarch : Cockpit component for Podman containers
pcp-pmda-podman-4.3.2-2.el8.x86_64 : Performance Co-Pilot (PCP) metrics for podman containers
pcp-pmda-podman-4.3.2-3.el8_1.x86_64 : Performance Co-Pilot (PCP) metrics for podman containers
podman-remote-1.6.4-4.module_el8.1.0+298+41f9343a.x86_64 : (Experimental) Remote client for managing podman containers
============================================================================================================================== 小结 匹配：podman ==============================================================================================================================
toolbox-0.0.4-1.module_el8.1.0+293+ad8ef41f.x86_64 : Script to launch privileged container with podman
使用yum回退
[root@localhost ~]# yum history podman
ID | 命令行 | 日期和时间 | 操作 | 更改
-------------------------------------------------------------------------------
6 | reinstall podman | 2020-05-10 21:22 | R | 2
5 | update podman | 2020-05-08 00:54 | I, U | 9 E<
2 | | 2019-11-30 01:26 | I, U | 2 >
1 | | 2019-11-30 01:04 | Install | 1318 EE
[root@localhost ~]# yum history undo 5
上次元数据过期检查：0:30:11 前，执行于 2020年05月10日 星期日 21时21分10秒。
撤销事务 5，从 2020年05月08日 星期五 00时54分47秒
安装 conmon-2:2.0.6-1.module_el8.1.0+298+41f9343a.x86_64 @AppStream
安装 podman-manpages-1.6.4-4.module_el8.1.0+298+41f9343a.noarch @AppStream
安装 libvarlink-18-3.el8.x86_64 @BaseOS
Upgrade containernetworking-plugins-0.8.3-4.module_el8.1.0+298+41f9343a.x86_64 @AppStream
Upgraded containernetworking-plugins-0.7.4-3.git9ebe139.module_el8.0.0+58+91b614e7.x86_64 @@System
Upgrade podman-1.6.4-4.module_el8.1.0+298+41f9343a.x86_64 @AppStream
Upgraded podman-1.0.5-1.gitf604175.module_el8.0.0+194+ac560166.x86_64 @@System
Upgrade podman-docker-1.6.4-4.module_el8.1.0+298+41f9343a.noarch @AppStream
Upgraded podman-docker-1.0.5-1.gitf604175.module_el8.0.0+194+ac560166.noarch @@System
Upgrade runc-1.0.0-64.rc9.module_el8.1.0+298+41f9343a.x86_64 @AppStream
Upgraded runc-1.0.0-55.rc5.dev.git2abd837.module_el8.0.0+58+91b614e7.x86_64 @@System
Upgrade slirp4netns-0.4.2-3.git21fdece.module_el8.1.0+298+41f9343a.x86_64 @AppStream
Upgraded slirp4netns-0.1-2.dev.gitc4e1bc5.module_el8.0.0+58+91b614e7.x86_64 @@System
Upgrade libseccomp-2.4.1-1.el8.x86_64 @BaseOS
Upgraded libseccomp-2.3.3-3.el8.x86_64 @@System
无可用软件包 containernetworking-plugins-0.7.4-3.git9ebe139.module_el8.0.0+58+91b614e7.x86_64。
无可用软件包 libseccomp-2.3.3-3.el8.x86_64。
无可用软件包 podman-1.0.5-1.gitf604175.module_el8.0.0+194+ac560166.x86_64。
无可用软件包 podman-docker-1.0.5-1.gitf604175.module_el8.0.0+194+ac560166.noarch。
无可用软件包 runc-1.0.0-55.rc5.dev.git2abd837.module_el8.0.0+58+91b614e7.x86_64。
无可用软件包 slirp4netns-0.1-2.dev.gitc4e1bc5.module_el8.0.0+58+91b614e7.x86_64。
错误：没有能够与之匹配的软件包
失败,官方源已经删除了老版本rpm包，需要自己去找rpm，没必要,去官网看看这个报错原因,无果
这个报错的本身意思是容器id的ip已经分配给自己，而不能再重新分配给自己。。应该是强制关机导致文件lock残留的问题，但这应该也是一个bug，podman应该有自己修复的功能
查找残留文件删除,尝试删除run目录的container失败
[root@localhost storage]# find / -name c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1
/run/containers/storage/overlay-containers/c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1
/var/lib/containers/storage/overlay-containers/c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1
[root@localhost storage]# cd /run/containers/storage/overlay-containers/c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1
[root@localhost c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1]# tree
.
└── userdata
1 directory, 0 files
[root@localhost c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1]# cd ..
[root@localhost overlay-containers]# rm -rf c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1/
去查看该容器配置
[root@localhost c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1]#cd /var/lib/containers/storage/overlay-containers/c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1
[root@localhost c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1]# cat userdata/config.json |json_reformat |grep -C 5 network
"namespaces": [
{
"type": "pid"
},
{
"type": "network",
"path": "/var/run/netns/cni-c27fac7a-fe5a-36bb-3312-3dfdd8747633"
},
{
"type": "ipc"
},
#找到网络配置地方/var/run/netns/cni-c27fac7a-fe5a-36bb-3312-3dfdd8747633发现不存在目录，失败,去看源码
最终操作
治标
[root@localhost ~]# podman start node
ERRO[0000] Error adding network: failed to allocate for range 0: 10.88.0.137 has been allocated to c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1, duplicate allocation is not allowed
ERRO[0000] Error while adding pod to CNI network "podman": failed to allocate for range 0: 10.88.0.137 has been allocated to c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1, duplicate allocation is not allowed
Error: unable to start container "node": error configuring network namespace for container c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1: failed to allocate for range 0: 10.88.0.137 has been allocated to c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1, duplicate allocation is not allowed
#根据错误信息的ip
[root@localhost containers]# cat /var/lib/cni/networks/podman/10.88.0.137
c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1
#重置该虚拟ip
[root@localhost containers]# echo > /var/lib/cni/networks/podman/10.88.0.137
[root@localhost containers]# podman restart c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1
Error: cannot chown run directory /var/run/containers/storage/overlay-containers/c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1/userdata: chown /var/run/containers/storage/overlay-containers/c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1/userdata: no such file or directory
#重建该目录
[root@localhost containers]# mkdir -p /var/run/containers/storage/overlay-containers/c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1/userdata
[root@localhost containers]# podman restart c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1
c17c6b3c9abad320bd7009b261e77af9c2474aa16acf5131f8c47f56a81e52c1
#启动成功
#该方法治标不治本，具体解决方案还要再找找
治本
相关文档
| 说明 | url | 其他 |
|---|---|---|
| podman命令行源码 | https://github.com/containers/libpod | 源码 |
| 容器网络实现源码 | https://github.com/containernetworking/cni | 源码 |
| 同类型问题 | https://github.com/containers/dnsname/issues/19 | 检索语句org:containers "duplicate allocation"该问题还在开启，应该是新的bug,所以没有重复提交 |
| 路途开始的地方 | 长链接 | 这个报错的位置 |
最终判断firewall和iptable并存导致该问题
systemctl disable firewalld关闭firewall防火墙,问题解决
以为docker->podman,centos7->centos8能支持一下firewall，但容器果然还是iptable系的软件