流程图

代码解释

#!/bin/bash# 如果任何命令返回非零状态（失败），立即退出脚本
set -e# 函数：从.env文件加载环境变量
load_env_file() {# 获取当前脚本所在的目录路径local script_dir="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"local env_file="$script_dir/.env"# 检查.env文件是否存在if [ -f "$env_file" ]; thenecho "从以下位置加载环境变量: $env_file"# 设置所有变量为环境变量set -asource "$env_file" set +aelseecho "警告: 未找到.env文件: $env_file"fi
}# 加载环境变量
load_env_file# 取消可能由Docker守护进程设置的HTTP代理
export http_proxy=""; export https_proxy=""; export no_proxy=""; export HTTP_PROXY=""; export HTTPS_PROXY=""; export NO_PROXY=""
# 设置Python模块搜索路径
export PYTHONPATH=$(pwd)# 设置动态链接库路径
export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu/
# 获取jemalloc库的路径
JEMALLOC_PATH=$(pkg-config --variable=libdir jemalloc)/libjemalloc.so# 设置Python解释器
PY=python3# 如果未设置WS变量或WS小于1，则设置默认工作进程数为1
if [[ -z "$WS" || $WS -lt 1 ]]; thenWS=1
fi# 每个任务执行器和服务器的最大重试次数
MAX_RETRIES=5# 控制终止的标志
STOP=false# 存储子进程PID的数组
PIDS=()# 设置NLTK数据目录路径
export NLTK_DATA="./nltk_data"# 清理函数：处理终止信号
cleanup() {echo "接收到终止信号。正在关闭..."STOP=true# 终止所有子进程for pid in "${PIDS[@]}"; doif kill -0 "$pid" 2>/dev/null; thenecho "正在终止进程 $pid"kill "$pid"fidoneexit 0
}# 捕获SIGINT和SIGTERM信号，调用cleanup函数
trap cleanup SIGINT SIGTERM# 函数：使用重试逻辑执行task_executor.py
task_exe(){local task_id=$1local retry_count=0while ! $STOP && [ $retry_count -lt $MAX_RETRIES ]; doecho "为任务 $task_id 启动task_executor.py (尝试 $((retry_count+1)))"# 使用jemalloc预加载执行Python脚本LD_PRELOAD=$JEMALLOC_PATH $PY rag/svr/task_executor.py "$task_id"EXIT_CODE=$?if [ $EXIT_CODE -eq 0 ]; thenecho "任务 $task_id 的task_executor.py成功退出。"breakelseecho "任务 $task_id 的task_executor.py失败，退出代码 $EXIT_CODE。正在重试..." >&2retry_count=$((retry_count + 1))sleep 2fidoneif [ $retry_count -ge $MAX_RETRIES ]; thenecho "任务 $task_id 的task_executor.py在 $MAX_RETRIES 次尝试后失败。正在退出..." >&2cleanupfi
}# 函数：使用重试逻辑执行ragflow_server.py
run_server(){local retry_count=0while ! $STOP && [ $retry_count -lt $MAX_RETRIES ]; doecho "启动ragflow_server.py (尝试 $((retry_count+1)))"$PY api/ragflow_server.pyEXIT_CODE=$?if [ $EXIT_CODE -eq 0 ]; thenecho "ragflow_server.py成功退出。"breakelseecho "ragflow_server.py失败，退出代码 $EXIT_CODE。正在重试..." >&2retry_count=$((retry_count + 1))sleep 2fidoneif [ $retry_count -ge $MAX_RETRIES ]; thenecho "ragflow_server.py在 $MAX_RETRIES 次尝试后失败。正在退出..." >&2cleanupfi
}# 启动任务执行器进程
for ((i=0;i<WS;i++))
dotask_exe "$i" &PIDS+=($!)
done# 启动主服务器进程
run_server &
PIDS+=($!)# 等待所有后台进程完成
wait