使用 ollama 在 mac 本地部署一个 qwen3:8b 模型

前言

ollama 就是一个运行大模型的框架。要运行大模型，还需要大模型本身。

下载安装 ollama

从 ollama 官网下载mac 版本的 ollama。
在这里插入图片描述

启动 ollama

安装好选择启动即可，如果没有选择启动，可以使用命令启动。

 ollama serve

使用 ollama 运行 qwen3:8b 大模型

⚠️警告：如果失败，请参考下文的 离线部署 。

ollama run qwen3:8b

首次运行会先下载模型文件，如果不设置，默认模型文件下载目录为 ~/.ollama/models/


pulling manifest
pulling a3de86cd1c13: 100% ▕████████████████████████████████▏ 5.2 GB
pulling ae370d884f10: 100% ▕████████████████████████████████▏ 1.7 KB
pulling d18a5cc71b84: 100% ▕████████████████████████████████▏  11 KB
pulling cff3f395ef37: 100% ▕████████████████████████████████▏  120 B
pulling 05a61d37b084: 100% ▕████████████████████████████████▏  487 B
verifying sha256 digest
writing manifest
success

使用指导

关闭思考过程

问一个问题，默认会输出思考过程，关闭思考过程的方法如下
1、运行模型的时候加参数 --hidethinking

ollama run qwen3:8b --hidethinking

2、直接在对话框设置 /set nothink

>>> /set nothink
输出
Set 'nothink' mode.

>>> 解释下黎曼几何的核心思想
Thinking...
嗯，用户让我解释黎曼几何的核心思想。首先，我需要确定用户对数学的了解程度。可能他们是在学习
微分几何或者相关领域，比如物理中的广义相对论。不过也有可能他们只是对数学概念感兴趣，或者需
要这个知识来解决某个具体问题。接下来，我得回忆一下黎曼几何的基本概念。黎曼几何是研究弯曲空间的几何学，和欧几里得几何不同
，它允许空间具有曲率。核心思想应该包括曲率、度量张量、测地线这些内容。但用户可能需要更深入
的解释，或者更基础的概述。用户可能想知道黎曼几何和欧几里得几何的区别，或者为什么它在物理中如此重要。比如，在广义相对
论中，时空被描述为黎曼流形，曲率与引力相关。所以需要联系实际应用，但也要保持解释的准确性。我需要考虑用户可能的背景。如果是学生，可能需要更详细的数学定义；如果是非专业人员，可能需要
更直观的解释。不过用户的问题比较开放，可能希望既有理论又有实际应用的结合。另外，用户可能对黎曼几何的结构、如何定义曲率、度量张量的作用等感兴趣。可能需要分点解释，比
如空间的弯曲、度量张量、曲率张量、测地线等。同时，要避免过于技术性的术语，或者适当解释术语
。还要注意黎曼几何和微分几何的关系，以及它在现代数学和物理中的地位。比如，黎曼流形、曲率张量
、联络等概念。可能需要提到这些概念如何扩展了欧几里得几何，使其适用于更一般的空间。另外，用户可能想知道黎曼几何的核心思想是什么，而不是具体的应用。所以需要总结出几个关键点：
空间的弯曲、度量张量的定义、曲率的数学描述、测地线作为最短路径，以及这些如何统一在黎曼流形
的框架中。可能还需要提到黎曼几何的数学工具，比如张量分析、外微分形式、联络和曲率张量。但用户可能不需
要太深入的技术细节，而是更关注核心思想。另外，用户可能对黎曼几何的历史背景感兴趣，比如黎曼的贡献，但问题主要集中在核心思想，所以可
能不需要深入历史，但可以简要提及。总结一下，我需要分点解释黎曼几何的核心思想，包括空间的弯曲、度量张量、曲率、测地线，以及这
些如何构成黎曼几何的基础。同时，联系实际应用如广义相对论，但保持解释的清晰和易懂。
...done thinking.黎曼几何是微分几何的一个重要分支，由德国数学家伯恩哈德·黎曼（Bernhard Riemann）在19世纪提
出。它的核心思想是**研究具有弯曲结构的几何空间**，并为现代物理学（如广义相对论）提供了数学
基础。以下是其核心思想的分点解析：---### **1. 空间的弯曲性（非欧几何）**
- **与欧几里得几何的区别**：欧几里得几何假设空间是平直的（无曲率），而黎曼几何允许空间具有**曲率**，即空间可以是弯曲
的（如球面或马鞍面）。这种弯曲性是黎曼几何的核心特征。
- **弯曲的数学描述**：通过**度量张量（metric tensor）**来量化空间的弯曲。度量张量是一个对称的二阶张量，用于计
算两点之间的距离、角度和体积等几何量。---### **2. 度量张量（Metric Tensor）**
- **定义**：度量张量 $ g_{ij} $ 是一个矩阵，其元素决定了空间中任意两点之间的距离。在局部坐标系中，两
点间距离的平方为：$$ds^2 = g_{ij} dx^i dx^j$$这里 $ dx^i $ 是坐标的变化量，$ ds $ 是弧长。
- **作用**：度量张，量不仅定义了空间的几何结构，还决定了如何测量长度、角度和体积。它是黎曼几何中所有
几何量（如曲率、测地线）的基础。---### **3. 曲率（Curvature）**
- **曲率的数学表达**：黎曼几何通过**曲率张量（Riemann curvature tensor）**来描述空间的弯曲程度。曲率张量 $
R^l_{ijk} $ 由度量张量及其导数定义，反映了空间在不同方向上的弯曲差异。
- **物理意义**：曲率是空间“弯曲”的量化指标。在广义相对论中，物质和能量会弯曲时空，而这种弯曲通过曲率张
量描述，进而影响物体的运动轨迹。---### **4. 测地线（Geodesic）**
- **定义**：测地线是空间中“最短路径”的一般化。在平直空间中，测地线是直线；在弯曲空间中，测地线是局
部最短路径（如球面上的大圆）。
- **物理意义**：在广义相对论中，自由粒子（如光子）的运动轨迹是时空中的测地线，这正是引力效应的数学体现。---### **5. 黎曼流形（Riemannian Manifold）**
- **定义**：黎曼几何研究的对象是**黎曼流形**，即一个光滑的拓扑空间，其每一点都赋予了一个度量张量，使
得空间具有局部的几何结构。
- **核心思想**：黎曼流形将抽象的空间结构与度量结合，使得几何性质可以被数学工具（如张量分析、微分方程）精
确描述。---### **6. 联络与协变导数（Connection & Covariant Derivative）**
- **联络（Connection）**：为了在弯曲空间中定义“方向”和“导数”，黎曼几何引入了**联络**（如克里斯托费尔符号），它
描述了如何将一个向量从一点平移到另一点时的“旋转”或“扭曲”。
- **协变导数**：协变导数是度量张量下定义的导数，用于计算向量场或张量场在弯曲空间中的变化率。---### **7. 应用与意义**
- **广义相对论**：爱因斯坦的广义相对论将时空视为一个四维黎曼流形，其曲率由物质和能量分布决定（爱因斯坦场方
程）。
- **其他领域**：黎曼几何在机器学习（流形学习）、计算机视觉、机器人学等领域也有重要应用，用于描述高维数据
的空间结构。---### **总结**
黎曼几何的核心思想可以概括为：
**通过度量张量和曲率张量，研究弯曲空间的几何结构，描述测地线作为最短路径，并将这些概念统一
在黎曼流形的框架中**。它突破了欧几里得几何的局限性，为理解宇宙的几何本质和物理规律提供了数
学工具。>>> /set nothink
Set 'nothink' mode.
>>> 解释下黎曼几何的核心思想
黎曼几何是微分几何的一个重要分支，由德国数学家**伯恩哈德·黎曼**（Bernhard Riemann）在19世
纪提出。其核心思想是：**研究具有弯曲结构的几何空间**，即在**非欧几何**的框架下，探讨空间如
何通过“度量”和“曲率”来描述。---### 🌍 **1. 空间的弯曲性（非欧几何）**- **与欧几里得几何的区别**：欧几里得几何假设空间是平直的（如平面），而黎曼几何允许空间是**弯曲的**，例如球面、马鞍面
等。这种弯曲性是黎曼几何的核心特征。- **弯曲的数学描述**：通过**度量张量（metric tensor）**来量化空间的弯曲。度量张量是一个对称的二阶张量，用于计
算两点之间的距离、角度、体积等几何量。---### 📐 **2. 度量张量（Metric Tensor）**- **定义**：度量张量 $ g_{ij} $ 是一个矩阵，其元素决定了空间中任意两点之间的距离。在局部坐标系中，两
点间距离的平方为：$$ds^2 = g_{ij} dx^i dx^j$$这里 $ dx^i $ 是坐标的变化量，$ ds $ 是弧长。- **作用**：度量张量不仅定义了空间的几何结构，还决定了如何测量长度、角度和体积。它是黎曼几何中所有几
何量（如曲率、测地线）的基础。---### 🔄 **3. 曲率（Curvature）**- **曲率的数学表达**：黎曼几何通过**曲率张量（Riemann curvature tensor）**来描述空间的弯曲程度。曲率张量 $
R^l_{ijk} $ 由度量张量及其导数定义，反映了空间在不同方向上的弯曲差异。- **物理意义**：曲率是空间“弯曲”的量化指标。在广义相对论中，物质和能量会弯曲时空，而这种弯曲通过曲率张
量描述，进而影响物体的运动轨迹。---### 🚀 **4. 测地线（Geodesic）**- **定义**：测地线是空间中“最短路径”的一般化。在平直空间中，测地线是直线；在弯曲空间中，测地线是局
部最短路径（如球面上的大圆）。- **物理意义**：在广义相对论中，自由粒子（如光子）的运动轨迹是时空中的测地线，这正是引力效应的数学体现。---### 🧠 **5. 黎曼流形（Riemannian Manifold）**- **定义**：黎曼几何研究的对象是**黎曼流形**，即一个光滑的拓扑空间，其每一点都赋予了一个度量张量，使
得空间具有局部的几何结构。- **核心思想**：黎曼流形将抽象的空间结构与度量结合，使得几何性质可以被数学工具（如张量分析、微分方程）精
确描述。---### 🔄 **6. 联络与协变导数（Connection & Covariant Derivative）**- **联络（Connection）**：为了在弯曲空间中定义“方向”和“导数”，黎曼几何引入了**联络**（如克里斯托费尔符号），它
描述了如何将一个向量从一点平移到另一点时的“旋转”或“扭曲”。- **协变导数**：协变导数是度量张量下定义的导数，用于计算向量场或张量场在弯曲空间中的变化率。---### 🌌 **7. 应用与意义**- **广义相对论**：爱因斯坦的广义相对论将时空视为一个四维黎曼流形，其曲率由物质和能量分布决定（爱因斯坦场方
程）。- **其他领域**：黎曼几何在机器学习（流形学习）、计算机视觉、机器人学等领域也有重要应用，用于描述高维数据
的空间结构。---### ✅ **总结**黎曼几何的核心思想可以概括为：> **通过度量张量和曲率张量，研究弯曲空间的几何结构，描述测地线作为最短路径，并将这些概念统
一在黎曼流形的框架中。**它突破了欧几里得几何的局限性，为理解宇宙的几何本质和物理规律提供了数学工具。

查看运行过的模型

ollama list
NAME                    ID              SIZE      MODIFIED
qwen3-nothink:latest    bb7a30bb30b0    5.2 GB    18 minutes ago
qwen3:8b                500a1f067a9f    5.2 GB    26 minutes ago

查看帮助

ollama --help
Large language model runnerUsage:ollama [flags]ollama [command]Available Commands:serve       Start ollamacreate      Create a model from a Modelfileshow        Show information for a modelrun         Run a modelstop        Stop a running modelpull        Pull a model from a registrypush        Push a model to a registrylist        List modelsps          List running modelscp          Copy a modelrm          Remove a modelhelp        Help about any commandFlags:-h, --help      help for ollama-v, --version   Show version informationUse "ollama [command] --help" for more information about a command.

删除部署过的模型

ollama rm qwen3-nothink:latest qwen3:8b
deleted 'qwen3-nothink:latest'
deleted 'qwen3:8b'

注意：执行后，模型文件会被删除。

离线部署

执行 ollama run qwen3:8b 默认会先从 huggingface 模型仓库下载模型文件，国内可能无法访问，所以这里介绍如何先从阿里魔塔社区先手动下载模型文件，然后运行。

下载模型文件

打开阿里魔塔社区，搜索 qwen3-8b-gguf
在这里插入图片描述
然后选择 模型文件—下载模型 会弹出下载模型的命令。

如果找不到，直接从这里查看 Qwen3-8B-GGUF

按照如下命令下载即可：

pip3 install modelscope

pip install modelscope

打印 pip 下载的命令的路径

python3 -m site --user-base
/Users/zld/Library/Python/3.9

下载 Qwen3:8B 模型
⚠️警告：必须下载 GGUF 格式的模型文件，否则 ollama 不支持。

$(python3 -m site --user-base)/bin/modelscope download --model Qwen/Qwen3-8B-GGUF --local_dir ~/Qwen3-8B-GGUF

查看下载好的文件

ls -l  ~/Qwen3-8B-GGUF/
total 62629944
-rw-r--r--  1 zld  staff       11544  6 13 15:17 LICENSE
-rw-r--r--  1 zld  staff  5027783488  6 13 15:30 Qwen3-8B-Q4_K_M.gguf
-rw-r--r--  1 zld  staff  5720761152  6 13 15:32 Qwen3-8B-Q5_0.gguf
-rw-r--r--  1 zld  staff  5851112224  6 13 15:33 Qwen3-8B-Q5_K_M.gguf
-rw-r--r--  1 zld  staff  6725899040  6 13 15:33 Qwen3-8B-Q6_K.gguf
-rw-r--r--  1 zld  staff  8709518112  6 13 15:36 Qwen3-8B-Q8_0.gguf
-rw-r--r--  1 zld  staff        7577  6 13 15:17 README.md
-rw-r--r--  1 zld  staff          48  6 13 15:17 configuration.json
-rw-r--r--  1 zld  staff         270  6 13 15:17 params

创建模型

编辑Modelfile 文件，关于这个文件格式请参考 ollama/docs/modelfile.md
写入如下内容

FROM ~/Qwen3-8B-GGUF/Qwen3-8B-Q8_0.gguf

创建模型

ollama create qwen3:8b-local  -f Modelfile

输出

gathering model components
copying file sha256:408b955510e196121c1c375201744783b5c9a43c7956d73fc78df54c66e883d6 100%
parsing GGUF
using existing layer sha256:408b955510e196121c1c375201744783b5c9a43c7956d73fc78df54c66e883d6
writing manifest
success

查看创建的模型

ollama list
NAME              ID              SIZE      MODIFIED
qwen3:8b-local    e81bdb78f28d    8.7 GB    28 seconds ago

运行模型

ollama run qwen3:8b-local
>>> /set nothink #设置不输出思考过程（不设置也可）开始对话吧