ubuntu python虚拟环境venv搭配systemd服务实战（禁用缓存下载--no-cache-dir）
文章目录
-
- 参考文章
- 目录结构
- 步骤
-
- 安装venv
- 查看python版本
- 创建虚拟环境
- 激活虚拟环境
- 运行我们程序看缺少哪些依赖库，依次安装它们
- 接下来我们配置python程序启动脚本，脚本中启动python程序前需先激活虚拟环境
- 配置.service文件
- 然后执行部署脚本，成功了
- 但是又莫名其妙搞出来一个问题，后面一直不能复现，后来又好了，一直无法复现（考虑问题复现时，使用备用方案）
- 反正现在是正常的
- 20230811 虚拟环境中搞jtop（jetson-stats）还是有亿点问题
参考文章
Python虚拟环境使用教程（以虚拟环境管理工具venv为例）（virtualenv、venv、pyenv、virtualenvwrapper、conda不同管理工具对比）
目录结构
步骤
安装venv
它会基于当前版本的python3来安装python3-venv
apt update && apt install python3.8-venv
查看python版本
执行python：
创建虚拟环境
进入项目目录，执行：
python3 -m venv .venv-python3.8
（我把每个项目虚拟环境固定取名为.venv-python3.8，后续方便脚本操作）
20230813：改了，不这么搞了，容易混淆，每个虚拟环境都应该有自己特定的名字：
python3 -m venv .venv-python3.8-ky_ai_ip_change
可以看到，生成了目录.venv-python3.8
我这刚生成的虚拟环境占空间也不大，才7兆多：
激活虚拟环境
source .venv-python3.8/bin/activate
运行我们程序看缺少哪些依赖库，依次安装它们
执行：
python3 ip_change
发现少了ping3，装上：
pip install ping3
反复执行：
python3 ip_change
缺少啥库就装啥库：
下载太慢，我换成清华源，怎么还给我卡住了？
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple gevent
20230813：如果有requirements.txt文件，可以直接：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
可以禁用缓存，因为缓存可能会导致大问题（比如缓存里有但是是用之前正确的方式下载的，当前下载方式不正确但用缓存也成功了，就会导致下载者误判）：
pip install --no-cache-dir -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
第二天看，好了：
继续：
可以了，跑起来了，接口也能调通：
接下来我们配置python程序启动脚本，脚本中启动python程序前需先激活虚拟环境
注意journalctl -u 没有及时打印python日志的原因是因为在systemd unit文件中执行shell脚本，脚本中再执行python命令，命令没加-u参数导致的。估计是systemd自动把shell脚本输出重定向到journalctl日志，跟我们之前遇到的问题一样
ky_ai_ip_change.sh
#!/bin/bash
# 打印所有，包括注释
# set -v
# 打印执行命令
# set -x
# 命令出错退出
set -e
# 使用未初始化变量退出
set -u
USER="root"
# --------------------------------------------------------------------------
# 检查是否是root
WHO=$(whoami | grep "${USER}$")
if [ -z "${WHO}" ]; then
echo
echo "Please change to \"${USER}\" user mode first!"
echo
exit 1
fi
# --------------------------------------------------------------------------
# 获取脚本所在路径
SCRIPT_LOCATION=$(
cd "$(dirname "$0")" || {
echo "cd Failure"
exit 1
}
pwd
)
echo "SCRIPT_LOCATION = $SCRIPT_LOCATION"
# --------------------------------------------------------------------------
VENV_NAME=".venv-python3.8"
PYTHON_ENTRY_FILE="ip_change"
# --------------------------------------------------------------------------
# 激活虚拟环境
# 加指令注释消除shellcheck警告，source后有变量就会警告
# shellcheck source=/ky/tml/ky_ai_ip_change/.venv-python3.8/bin/activate
source $SCRIPT_LOCATION/$VENV_NAME/bin/activate
if [ $? -ne 0 ]; then
echo "Execute [source $SCRIPT_LOCATION/$VENV_NAME/bin/activate] failed"
exit 1
fi
# 运行项目
# python -u $SCRIPT_LOCATION/$PYTHON_ENTRY_FILE
# if [ $? -ne 0 ]; then
# echo "Execute [python $SCRIPT_LOCATION/$PYTHON_ENTRY_FILE] failed"
# exit 1
# fi
# 改一改，避免命令报错直接退出脚本，没有机会退出虚拟环境
if python -u $SCRIPT_LOCATION/$PYTHON_ENTRY_FILE; then
echo "命令 [python -u $SCRIPT_LOCATION/$PYTHON_ENTRY_FILE] 执行成功"
else
echo "命令 [python -u $SCRIPT_LOCATION/$PYTHON_ENTRY_FILE] 执行失败"
fi
deactivate
if [ $? -ne 0 ]; then
echo "Execute [deactivate] failed，退出虚拟环境失败"
exit 1
fi
echo "Execute [deactivate] successfully，退出虚拟环境成功"
配置.service文件
ky_ai_ip_change.service
[Unit]
Description=ky_ai_ip_change
After=network.target
[Service]
ExecStart=/ky/tml/ky_ai_ip_change/ky_ai_ip_change.sh
WorkingDirectory=/ky/tml/ky_ai_ip_change
Restart=always
RestartSec=3
[Install]
WantedBy=default.target
然后执行部署脚本，成功了
install.sh
#!/bin/bash
# 打印所有，包括注释
# set -v
# 打印执行命令
# set -x
# 命令出错退出
set -e
# 使用未初始化变量退出
set -u
USER=root
# USER_HOME=/root
# --------------------------------------------------------------------------
# 检查是否是root
WHO=$(whoami | grep "${USER}$")
if [ -z "${WHO}" ]; then
echo
echo "Please change to \"${USER}\" user mode first!"
echo
exit 1
fi
# --------------------------------------------------------------------------
# 获取脚本所在路径
SCRIPT_LOCATION=$(
cd "$(dirname "$0")" || {
echo "cd Failure"
exit 1
}
pwd
)
# echo "SCRIPT_LOCATION = $SCRIPT_LOCATION"
chmod 777 ${SCRIPT_LOCATION} -R
# --------------------------------------------------------------------------
# 不同服务只用改 SERVICE_NAME 变量即可
SERVICE_NAME="ky_ai_ip_change"
SERVICE_FILE_NAME="$SERVICE_NAME.service"
SERVICE_SOURCE_FILE_PATH="$SCRIPT_LOCATION/$SERVICE_FILE_NAME"
# 不能在 /etc/systemd/system 中创建子目录吗？（貌似是的，测试很多次都不行）
# SERVICE_TARGET_DIR_NAME="ky_ai_service"
# SERVICE_TARGET_DIR_PATH="/etc/systemd/system/$SERVICE_TARGET_DIR_NAME"
SERVICE_TARGET_DIR_PATH="/etc/systemd/system"
# --------------------------------------------------------------------------
# 创建目标目录
# if [ ! -d "$SERVICE_TARGET_DIR_PATH" ]; then
# mkdir -p "$SERVICE_TARGET_DIR_PATH"
# echo "创建目录：[$SERVICE_TARGET_DIR_PATH]"
# else
# echo "目录已存在，不重新创建：[$SERVICE_TARGET_DIR_PATH]"
# fi
# chmod 777 "$SERVICE_TARGET_DIR_PATH" -R
# --------------------------------------------------------------------------
# 判断服务是否存在
if systemctl list-unit-files --type=service | grep -q "$SERVICE_NAME"; then
echo "$SERVICE_NAME.service exists"
# 打印服务状态
# systemctl status $SERVICE_NAME
echo
# 这句明明是打印居然会触发 set -e 报错退出，加上 || true
# systemctl status $SERVICE_NAME || true
# 貌似信息比较长时，会有分页等待用户输入阻塞程序，加上 --no-pager 选项
systemctl status $SERVICE_NAME --no-pager || true
echo
# 询问用户是否删除
read -p "Do you want to delete $SERVICE_NAME.service? (y/n): " choice
if [[ $choice == "y" || $choice == "Y" ]]; then
# 删除服务
systemctl stop $SERVICE_NAME
echo "已 stop [$SERVICE_NAME] 服务 "
systemctl disable $SERVICE_NAME
echo "已 disable [$SERVICE_NAME] 服务"
# rm /etc/systemd/system/$SERVICE_NAME.service # 不用删，会自动删的
systemctl daemon-reload
echo "已 daemon-reload"
echo "$SERVICE_NAME.service has been deleted"
else
echo "Exiting script"
exit 0
fi
else
echo "$SERVICE_NAME.service not exists"
fi
echo
# --------------------------------------------------------------------------
# 这句明明是打印居然会触发 set -e 报错退出
# systemctl list-unit-files | grep "$SERVICE_NAME"
# systemctl list-unit-files | grep "$SERVICE_NAME" || true
# --------------------------------------------------------------------------
# Function: create_symlink
# Description: Check if a symlink exists and is valid. If it is valid, prompt the user to delete and relink it.
# If it is invalid, display an error message. If it does not exist, create a new symlink.
# Parameters:
# $1 - The target path of the symlink
# $2 - The path of the symlink
# Returns:
# None
function create_symlink() {
SRC=$1
LINK=$2
if [ -e $LINK ]; then
if [ -L $LINK ]; then
echo "The symlink $LINK is valid."
read -p "Do you want to delete and relink it? (y/n) " choice
case "$choice" in
y | Y)
rm $LINK
echo "The symlink $LINK has been deleted."
;;
*)
return 0
;;
esac
else
echo "The symlink $LINK is invalid."
fi
fi
echo "Force create soft link: [$LINK -> $SRC]"
ln -sf $SRC $LINK
if [ $? -ne 0 ]; then
echo "Force create soft link: [$LINK -> $SRC] failed"
exit 1
fi
ls -l --color=auto $LINK
}
# --------------------------------------------------------------------------
# 判断软链接/usr/local/bin/node是否存在，如果存在，判断软链接是否有效，如果有效，询问用户是否删除，如果用户选择是，则删除此软链接，并重新创建
SERVICE_TARGET_FILE_PATH="$SERVICE_TARGET_DIR_PATH/$SERVICE_FILE_NAME"
# ls -l --color=auto $NODE_LINK
create_symlink $SERVICE_SOURCE_FILE_PATH $SERVICE_TARGET_FILE_PATH
echo
# --------------------------------------------------------------------------
# 通知systemd重新加载配置文件
systemctl daemon-reload
if [ $? -ne 0 ]; then
echo "Systemctl daemon-reload failed"
exit 1
fi
echo "Daemon-reload successfully"
# 启用服务
systemctl enable $SERVICE_NAME
if [ $? -ne 0 ]; then
echo "Enable service [$SERVICE_NAME] failed"
exit 1
fi
echo "Enable service [$SERVICE_NAME] successfully"
# 启动服务
systemctl start $SERVICE_NAME
if [ $? -ne 0 ]; then
echo "Start service [$SERVICE_NAME] failed"
exit 1
fi
echo "Start service [$SERVICE_NAME] successfully"
# --------------------------------------------------------------------------
echo
# systemctl status $SERVICE_NAME || true
# 貌似信息比较长时，会有分页等待用户输入阻塞程序，加上 --no-pager 选项
systemctl status $SERVICE_NAME --no-pager || true
# --------------------------------------------------------------------------
echo
echo "Service [$SERVICE_FILE_NAME] install successfully"
echo
但是又莫名其妙搞出来一个问题，后面一直不能复现，后来又好了，一直无法复现（考虑问题复现时，使用备用方案）
参考文章：Current command vanished from the unit file, execution of the command list won‘t be resumed.
后面如果又碰到，可以考虑直接systemd unit文件中直接执行python指令而不是脚本，同时定义ExecStartPre和ExecStopPost执行指令前的激活虚拟环境和退出虚拟环境的操作：
如果使用systemd来执行Python服务，可以在service配置文件中设置ExecStartPre和ExecStopPost来在执行前进入虚拟环境，执行后退出虚拟环境。
以下是一个示例的service配置文件，展示了如何在执行前进入虚拟环境，执行后退出虚拟环境：
[Unit]
Description=My Python Service
[Service]
ExecStartPre=/bin/bash -c 'source /path/to/venv/bin/activate'
ExecStart=/path/to/python /path/to/script.py
ExecStopPost=/bin/bash -c 'deactivate'
[Install]
WantedBy=multi-user.target
在这个示例中，ExecStartPre指定了在执行前要执行的命令，即进入虚拟环境的命令source /path/to/venv/bin/activate。ExecStart指定了要执行的Python脚本的路径。ExecStopPost指定了在执行后要执行的命令，即退出虚拟环境的命令deactivate。
请将/path/to/venv替换为你的虚拟环境的路径，将/path/to/python替换为你的Python解释器的路径，将/path/to/script.py替换为你的Python脚本的路径。
通过这样的配置，当你启动或停止该service时，会自动进入和退出虚拟环境。
反正现在是正常的
20230811 虚拟环境中搞jtop（jetson-stats）还是有亿点问题
pip3 install -U jetson-stats
