【记录】Docker|Docker内部访问LInux主机上的Ollama服务

部分内容参考自:使得 docker 容器内部可以访问宿主机的 ollama 服务_docker 访问 ollama-CSDN 博客,补充添加了更多的细节,也补充了一个更加简单的方案。
我测试的系统版本:Ubuntu 24.04.2 LTS noble,查看方式是指令 lsb_release -a

有时,我们会通过 docker run 或者 docker compose 来起一个服务,这个服务起在了 docker 容器内部,如果想让这个服务来访问宿主机的 ollama 服务,从而使用本地的大模型,需要如下:

文章目录

    • 一、配置 ollama 服务监听 0.0.0.0
      • 1. 编辑 systemd 服务文件
      • 2. 重启服务使配置生效
      • 3. 验证监听地址
    • 二、在启动服务时,要添加内部端口映射
      • 1. 172.17.0.1
      • 2. host.docker.internal

一、配置 ollama 服务监听 0.0.0.0

默认的 ollama 服务只监听 127.0.0.1:11434,docker 容器内部是无法访问到这个的(哪怕通过访问主机 ip:11434 也不可以)

1. 编辑 systemd 服务文件

打开 Ollama 的 systemd 服务配置文件:

sudo vim /etc/systemd/system/ollama.service

[Service] 部分添加监听地址的环境变量:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434" # 设置监听所有网络接口

如果你的 Environment 已经有内容了,可以用逗号分隔,如下:
在这里插入图片描述

2. 重启服务使配置生效

sudo systemctl daemon-reload # 重新加载服务配置
sudo systemctl restart ollama # 重启服务
sudo systemctl status ollama # 检查服务状态是否正常

不出意外的话可以看到Listening on [::]:11434
在这里插入图片描述

3. 验证监听地址

运行以下命令,检查 Ollama 是否已监听 0.0.0.0:11434

netstat -tuln | grep 11434 # 输出应为 ":::11434"

二、在启动服务时,要添加内部端口映射

添加端口映射有两种方案,两种方案都挺简单的,大家可以参考一下:

1. 172.17.0.1

这种方式你的 docker 运行指令和 docker_compose.yml 文件都不用变,访问主机上的服务用http://172.17.0.1:端口号就可以了,比如 ollama 可以用http://172.17.0.1:11434,这是 docker 自带的网桥。

你可以直接通过指定 url 为:https://172.17.0.1:11434 来访问宿主机的 ollama 服务。

验证方式可以是:

sudo apt install curl
curl https://172.17.0.1:11434

正常情况会输出Ollama is running

2. host.docker.internal

如果使用 docker run 启动,则需要

docker run --add-host=host.docker.internal:host-gateway -d your-app-image

如果使用 docker compose 启动,则docker_compose.yml中应该有如下代码(仅供参考):

version: '3'
services:your-app:image: your-app-imageenvironment:OLLAMA_API_URL: http://host.docker.internal:11434extra_hosts:- "host.docker.internal:host-gateway"  # Linux 需 Docker 20.10+支持

并且你可以通过先切换到 docker_compose.yml 的目录,再运行docker build -t your-app .的方式去创建 docker。然后再通过sudo docker run -itd --name "你的 docker 容器的名字" "your-app" /bin/bash的方式去运行 docker 容器。

也可以通过“docker-compose up -d”的方式去运行。

如果你发现 image 拉取不下来,可以看一下我的博客:【记录】Docker|Docker 镜像拉取超时的问题、推荐的解决办法及安全校验(以拉取 Ubuntu24.04 为例)_docker 拉取 ubuntu 超时-CSDN 博客

这样,你便可以通过指定 url 为:https://host.docker.internal:/11434/v1 来访问宿主机的 ollama 服务。

本账号所有文章均为原创,欢迎转载,请注明文章出处:https://shandianchengzi.blog.csdn.net/article/details/151398449。百度和各类采集站皆不可信,搜索请谨慎鉴别。技术类文章一般都有时效性,本人习惯不定期对自己的博文进行修正和更新,因此请访问出处以查看本文的最新版本。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/bicheng/96516.shtml
繁体地址,请注明出处:http://hk.pswp.cn/bicheng/96516.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据库物理外键与逻辑外键全解析

一、核心概念 1. 物理外键 (Physical Foreign Key) 物理外键是数据库层面通过语法明确创建的外键约束。它是由数据库管理系统(DBMS)本身(如 MySQL, PostgreSQL, Oracle)来强制实现的。 它是什么:数据库表结构的一部分&…

Vue3入门到实战,最新版vue3+TypeScript前端开发教程,创建Vue3工程,笔记03

笔记03 一、创建Vue3项目 1.1、创建方式 使用vue-cli创建使用vite创建(推荐)Vue3官网创建项目文档 两种创建方式,推荐使用第二种。vue-cli是基于webpack实现的,vite是新一代前端构建工具。 2.1、vue3项目结构

企业如何利用群晖 NAS 构建高效数据备份与容灾体系

在数字化转型的过程中,企业数据已成为核心资产。然而,勒索病毒攻击、硬件故障、操作失误以及自然灾害等风险,都可能导致数据丢失甚至业务中断。如何构建一个高效、安全、可恢复的数据备份与容灾体系,已成为企业 IT 管理的关键课题…

关于在pycharm终端连接服务器

1、先为每个项目创建一个虚拟环境2、使用命令下载torchpip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple安装之后发现安装在了本地,我需要安装到服务器里面,此时可以把本地的删除,因为是默认安装到c盘,除非你指定路…

CSS 继承 (Inheritance)

一、核心概念CSS 继承是指某些 CSS 属性如果被设置在父元素上,其值会自动流向(应用到)其所有后代元素(子、孙元素等)的特性。核心价值:通过将样式声明应用于祖先元素,可以避免在所有后代元素上重…

UGUI源码剖析(15):Slider的运行时逻辑与编辑器实现

UGUI源码剖析(第十五章):Slider的运行时逻辑与编辑器实现 在之前的章节中,我们已经深入了UGUI众多核心组件的运行时源码。然而,一个完整的Unity组件,通常由两部分构成:定义其在游戏世界中行为的…

【Python】爬虫html提取内容基础,bs4

前言 BeautifulSoup也就是bs4,里面功能其实有很多,不过对于爬虫而言主要掌握一下几块就可以了 怎么找标签?找到标签后怎么获取属性,怎么获取文本内容如何通过找到的标签继续获取子标签 安装 pip install bs4案例 对于找标签来说&#xf…

组件库打包工具选型(npm/pnpm/yarn)的区别和技术考量

组件库打包工具选型:npm/pnpm/yarn的区别与技术考量 一、核心差异概述 组件库打包工具的选择,本质是在​​依赖管理效率​​、​​磁盘空间占用​​、​​Monorepo支持​​、​​安装速度​​及​​幽灵依赖风险​​之间做权衡。npm作为Node.js默认工具…

新型APT组织“嘈杂熊“针对哈萨克斯坦能源部门发起网络间谍活动

感染链图示 | 图片来源:Seqrite实验室APT研究团队 Seqrite实验室APT研究团队近日发布了一份深度分析报告,披露了一个自2025年4月起活跃的新型威胁组织"嘈杂熊"(Noisy Bear)。该组织主要针对哈萨克斯坦石油天然气行业,攻击手法结合…

OpenCV 图像直方图

目录 一、什么是图像直方图? 关键概念:BINS(区间) 二、直方图的核心作用 三、OpenCV 计算直方图:calcHist 函数详解 1. 函数语法与参数解析 2. 基础实战:计算灰度图直方图 代码实现 结果分析 3. 进…

Firefox Window 开发流程(四)

1 引言 在进行 Firefox 浏览器的二次开发、内核研究或自定义构建之前,最重要的步骤就是拉取源码并进入 Mozilla 官方提供的开发引导模式。这不仅是所有定制工作的起点,同时也决定了后续开发环境的稳定性与可维护性。本文将从源码获取、工具使用、引导脚…

mybatis plus 使用wrapper输出SQL

在MyBatis-Plus中,Wrapper对象用于构建复杂的查询条件。虽然MyBatis-Plus本身没有直接提供从Wrapper对象获取完整SQL语句的方法,但你可以通过一些间接的方式来获取生成的SQL片段。以下是如何使用MyBatis-Plus的Wrapper来获取SQL片段的步骤:‌…

第1章:操作系统和计算机网络

1. 操作系统和计算机网络组成目标概述1.1. 核心知识操作系统和网络知识很庞大,大多内容枯燥无味,主功最常用的,符合2/8原则。操作系统:内核、性能、磁盘IO、内存、CPU进程、线程、文件、中断计算机网络:OSI七层模型、T…

day27|前端框架学习

1、验证。前后端连接,authentication2、action,在pinia,管理状态,处理异步操作(API/Firebase)。methods。在vue组件,处理组件内部逻辑3、滑动窗口,能有大致思路,但是自己…

单片机启动文件——数据段重定位,BSS段清零

目录重定位概念的引入一、数据段重定位1.作用:2.目的:3.自己模拟代码二、BSS段清零1.作用:2.目的:3.自己模拟代码三,实现原理重定位概念的引入 单片机中内存段的详细介绍 在单片机中内存分为了很多不同的区域&#xf…

QT(3)

四、基本组件1. Designer设计师(掌握)Qt Designer 是 Qt 提供的可视化界面设计工具,支持通过拖拽组件快速构建 GUI 界面,生成的界面文件以 .ui格式保存(基于 XML 的标签语言)。​​核心功能​​&#xff1a…

常用注解:@PostMapping、@RequestBody、@Autowired、@Service、@Mapper

1. PostMapping作用:将方法绑定到 HTTP POST 请求的特定路径上用法:PostMapping("/login") // 绑定到 POST /login PostMapping("/employees") // 绑定到 POST /employees PostMapping("/users/{id}") …

SoC日志管理

目录 一、汽车控制器中日志的核心类型 二、日志管理的核心环节与策略 1. 日志采集:确保“全面且不冗余” 2. 日志存储:平衡“可靠性”与“存储成本” 3. 日志安全:防止“篡改与泄露” 4. 日志生命周期:符合“法规与成本” 5. 日志工具与实现 三、汽车场景的特殊约束与应对 …

横评五款开源多智能体框架,AI高手都在用哪个?下一款Manus、Cursor、Devin,谁能撑起来?

Agent 成为共识的速度非常快。但今年 Agent 的真正转折点在于:多智能体。 从科研自动化到任务编排,从自动开淘宝店到 Vibe 一切,从 AI 浏览器到今天的 ChatGPT Agent,一切都是多智能体的味道。 但要真正搭建一个多智能体&#x…

GitHub每日最火火火项目(9.10)

1. Physical-Intelligence / openpi 项目名称:openpi项目介绍:基于 Python 开发,聚焦于物理智能领域,为相关研究与应用提供支持。Python 在科学计算、人工智能等领域有着广泛且成熟的生态,借助其丰富的库(如…