docker搭建ray集群

1. 安装docker 已安装过docker 没安装流程

启动 Docker 服务

sudo systemctl start docker
sudo systemctl enable docker   # 设置开机即启动docker

验证 Docker 是否安装成功

docker --version

2. 部署ray

# 先停止docker服务
systemctl stop docker   
# 编辑 Docker 的配置文件  更改docker 镜像保存的路径 以防默认目录存储空间不足vim /etc/docker/daemon.json
{"data-root": "/data/docker"  # 自己存储空间大的目录
}
# 再次启动docker服务 使上面的配置文件生效
systemctl start docker   
# 拉取镜像到本地
docker pull **镜像名称:版本** 
# 查看镜像
docker images# --network host参数 使docker环境共享宿主机IP# -v  参数使docker环境共享宿主机挂载目录# tail -f /dev/null 参数  挂起docker  使其不中断
docker run -d --name **docker环境名称 自命名即可** --network host -v /mnt1:/mnt1 -v /mnt2:/mnt2 -v /data:/data -v /mnt3:/mnt3 **镜像名称:版本** tail -f /dev/null
# 查看docker环境列表
docker ps
#进入docker环境  执行任务
docker exec -it **自命名的docker环境名称** /bin/bash 
# 退出docker环境
exit  
# 停止容器
docker stop ailab-data-pipelinev3   # 删除已停止的容器
docker rm ailab-data-pipelinev3    
# 查看ray版本   所有机器ray版本应保持一致  否则集群不能使用
ray --version
# head节点启动命令
ray start --head --port=6379 --dashboard-host=0.0.0.0 --dashboard-port=8265  --num-cpus 96
#每个work节点启动ray服务命令   请替换IP和--num-cpus数目 --num-cpus 可以是nproc的值
ray start --address='127.0.0.0:6379' --num-cpus 96    
ray start --address='127.0.0.0:6379' --num-cpus 32
# 提交任务命令
ray job submit --working-dir ./ray_code -- python3 ray.py

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/web/90535.shtml
繁体地址,请注明出处:http://hk.pswp.cn/web/90535.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【iOS】SideTable

文章目录前言1️⃣Side Table 的核心作用:扩展对象元数据存储1.1 传统对象的内存限制1.2 Side Table 的定位:集中式元数据仓库2️⃣Side Table 的底层结构与关联2.1 Side Table 与 isa 指针的关系2.2 Side Table 的存储结构2.3 SideTable 的工作流程3️⃣…

【Spring Cloud Gateway 实战系列】高级篇:服务网格集成、安全增强与全链路压测

一、服务网格集成:Gateway与Istio的协同作战在微服务架构向服务网格演进的过程中,Spring Cloud Gateway可与Istio形成互补——Gateway负责南北向流量(客户端到集群)的入口管理,Istio负责东西向流量(集群内服…

一文说清楚Hive

Hive作为Apache Hadoop生态的核心数据仓库工具,其设计初衷是为熟悉SQL的用户提供大规模数据离线处理能力。以下从底层计算框架、优点、场景、注意事项及实践案例五个维度展开说明。 一、Hive底层分布式计算框架对比 Hive本身不直接执行计算,而是将HQL转换…

SeaweedFS深度解析(三):裸金属单机和集群部署

#作者:闫乾苓 文章目录2.2.4 S3 Server(兼容 Amazon S3 的接口)2.2.5 Weed(命令行工具)3、裸金属单机和集群部署3.1 裸金属单机部署3.1.1安装 SeaweedFS3.1.2 以Master模式启动2.2.4 S3 Server(兼容 Amazon…

相机ROI 参数

相机的 ROI(Region of Interest,感兴趣区域) 参数,是指通过设置图像传感器上 特定区域 作为有效成像区域,从而只采集该区域的图像数据,而忽略其他部分。这一功能常用于工业相机、科研相机、高速相机等场景&…

Vue基础(24)_VueCompinent构造函数、Vue实例对象与组件实例对象

分析上一节代码中的school组件:该组件是一个名为VueCompinent的构造函数。截取部分vue.js源码,分析Vue.extend:// 定义一个名为VueComponent的构造函数对象Sub,往Sub对象调用_init(options)方法,参数为配置项&#xff…

萤石云替代产品摄像头方案萤石云不支持TCP本地连接-东方仙盟

不断试错东方仙盟深耕科研测评,聚焦前沿领域,以严谨标准评估成果,追踪技术突破,在探索与验证中持续精进,为科研发展提供参考,助力探路前行 萤石云价格萤石云的不便于使用 家庭场景:成本可控与隐…

C51:用DS1302时钟读取和设置时间

因为在ds1302.c文件中包含了写ds1302(51向ds1302写数据)和读ds1302(51从ds1302读数据)的两个函数,我们根据文件中提供的函数来写读取时间和设置时间的函数即可ds1302.c文件源码如下,需要的同学可以参考一下…

webrtc整体架构

WebRTC(Web Real-Time Communication)是一套支持浏览器和移动应用进行实时音视频通信的开源技术标准,其架构设计围绕 “实时性”“低延迟”“跨平台” 和 “安全性” 展开,整体可分为核心引擎层、API 层、支撑服务层三大部分&…

浅析PCIe 6.0 ATS地址转换功能

在现代高性能计算和虚拟化系统中,地址转换(Address Translation)是一个至关重要的机制。随着 PCIe 设备(如 GPU、网卡、存储控制器)直接访问系统内存的能力增强,设备对虚拟内存的访问需求日益增长。 为了提升性能并确保安全访问,Address Translation Services(ATS) 应…

【前端】ikun-pptx编辑器前瞻问题二: pptx的压缩包结构,以及xml正文树及对应元素介绍

文章目录PPTX文件本质:一个压缩包核心文件解析1. 幻灯片内容文件 (ppt/slides/slideX.xml)2. 元素类型解析文本框元素 (p:sp)图片元素 (p:pic)单位系统开发注意事项参考工具pptx渲染路线图PPTX文件本质:一个压缩包 PPTX文件实际上是一个遵循Open XML标准…

分布式任务调度实战:XXL-JOB与Elastic-Job深度解析

告别传统定时任务的局限,拥抱分布式调度的强大与灵活 在现代分布式系统中,高效可靠的任务调度已成为系统架构的核心需求。面对传统方案(如Timer、Quartz)在分布式环境下的不足,开发者急需支持集群调度、故障转移和可视…

Windows 11下纯软件模拟虚拟机的设备模拟与虚拟化(仅终端和网络)

Windows 11下用GCC的C代码实现的虚拟机需要终端输入/输出(如串口或虚拟控制台)和网络连接,但不需要完整的硬件设备(如磁盘、显卡、USB 等)。在终端输入/输出方面,参考qemu的源代码,但不调用qemu…

CCF-GESP 等级考试 2025年6月认证Python六级真题解析

1 单选题(每题 2 分,共 30 分)第1题 下列哪一项不是面向对象编程(OOP)的基本特征?( )A. 继承 (Inheritance) B. 封装 (Encapsul…

C++中的deque

1. 什么是 Deque? 核心概念: Deque 是 “Double-Ended Queue”(双端队列)的缩写。你可以把它想象成一个可以在两端(头部和尾部)高效地进行添加或删除操作的线性数据结构。关键特性: 双端操作&am…

GNU到底是什么,与Unix和Linux是什么关系

GNU(发音为 /ɡnuː/,类似“革奴”)是一个自由软件操作系统项目,由理查德斯托曼(Richard Stallman)于1983年发起,目标是创建一个完全由自由软件组成的类Unix操作系统。它的名字是一个递归缩写&a…

双指针算法介绍及使用(下)

在上一篇文章中我们已经对双指针有了一定了解,接下来我们通过题目来对双指针进行更好的理解。 1. leetcode 202. 快乐数 这道题使用的方法是快慢指针, 比如说一个数X,那么创建两个变量X1和X2,然后X1每次变化两次,X2变化…

Elasticsearch整合:Repository+RestClient双模式查询优化

Elasticsearch整合:RepositoryRestClient双模式查询优化Elasticsearch 双模式查询优化:Repository RestClient 整合指南一、架构设计:双模式协同工作流二、Repository 模式:快速开发最佳实践2.1 基础配置2.2 高级特性&#xff1a…

Elasticsearch 高级查询语法 Query DSL 实战指南

目录 1、DSL 概述 1.1 DSL按照查询的结构层次划分 1.2 DSL按照检索功能的用途和特性划分 1.3 示例数据准备 2、match_all ——匹配所有文档 3、精确匹配 3.1 term——单字段精确匹配查询 3.2 terms——多值精确匹配 3.3 range——范围查询 3.4 exists——是否存在查询…

DNS 服务正反向解析与 Web 集成实战:从配置到验证全流程

DNS 服务正反向解析配置全流程指南 一、前言 在网络环境中,DNS(Domain Name System)服务起着至关重要的作用,它负责将域名解析为 IP 地址,以及将 IP 地址反向解析为域名。本文将详细介绍如何配置 DNS 服务的正反向解析…