探索大语言模型(LLM):Ollama快速安装部署及使用(含Linux环境下离线安装)

前言

Ollama 是一个开源的本地化大模型运行平台,支持用户直接在个人计算机上部署、管理和交互大型语言模型(LLMs),无需依赖云端服务。而且其混合推理的特性也使得CPU和GPU的算力能够充分被使用,能够在同等配置下跑更大的模型,是非常适合个人学习使用的平台。本篇将详细介绍Ollama在各种平台上的详细安装过程以及应用。


Ollama的安装

官网地址:https://ollama.com/

在这里插入图片描述
进到官网之后点击Download然后就可以选择相应的安装包
在这里插入图片描述

在线安装

在这里插入图片描述
Windows环境下下载安装根据安装包指引下载安装即可,linux环境下执行以下命令:

curl -fsSL https://ollama.com/install.sh | sh

离线安装

在线安装受网络的影响,并不能完全解决所有的安装问题,那么就可以选择离线安装的方式安装Ollama。
离线包下载地址:https://github.com/ollama/ollama/releases
在这里插入图片描述
由于Windows可以直接在官网下载安装包并安装,本文以Linux-amd64环境下的安装为例
下载好压缩包后,新建一个文件夹名为ollama,然后解压

mkdir ./ollama
tar -zxvf ollama-linux-amd64.tgz -C ./ollama

为ollama添加执行权限

cd ./bin
chmod +x ollama

添加环境变量
在 .bashrc 文件结尾写入ollama/bin文件路径

vi ~/.bashrc

然后在下面添加以下内容(假设压缩包下载的路径为/home/data,读者应该根据自己实际路径调整)

export PATH=$PATH:/home/data/ollama/bin

更新环境变量

source ~/.bashrc

修改Ollama模型保存路径

这一步还是很有必要的,能够方便管理模型,尤其是在windows系统中,如果不做相关的设置,会默认下载到C盘

Windows环境修改保存路径

在这里插入图片描述
在这里插入图片描述
然后点击环境变量
在这里插入图片描述
这里选任意一个就行
变量名为OLLAMA_MODELS
在这里插入图片描述

Linux环境修改保存路径

Linux环境更为简单,直接打开bashrc添加环境变量即可

vi ~/.bashrc

然后添加

export OLLAMA_MODELS=你想设置的路径

保存并退出后

source ~/.bashrc

然后可以使用以下命令启动ollama

ollama start

模型下载

在线下载

ollama官网: https://ollama.com/
打开官网直接搜索需要的模型,本文以qwen3为例
在这里插入图片描述
在这里插入图片描述
然后点击适合自己设备的模型(基本上size比自己的显存小一点就合适)
在这里插入图片描述
然后复制命令到命令行
在这里插入图片描述
随后ollama会自动下载并运行该模型

手动下载

手动下载的方式参照玩转大语言模型——ollama导入huggingface下载的模型,这里不再赘述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/pingmian/96383.shtml
繁体地址,请注明出处:http://hk.pswp.cn/pingmian/96383.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

渗透测试信息收集详解

我们来详细解析一下渗透测试中信息收集(Information Gathering)的完整内容、步骤及工具方法。信息收集是整个渗透测试的基石,其深度和广度直接决定了后续测试的成功率,因此有“渗透测试成功与否,90%取决于信息收集”的…

Kafka面试精讲 Day 16:生产者性能优化策略

【Kafka面试精讲 Day 16】生产者性能优化策略 在“Kafka面试精讲”系列的第16天,我们将聚焦于生产者性能优化策略。这是Kafka中极为关键的技术点,也是大厂面试中的高频考点——尤其是在涉及高并发数据写入、日志采集、实时数仓等场景时,面试…

深入解析AI温度参数:控制文本生成的随机性与创造性

引言 在人工智能飞速发展的今天,文本生成模型如GPT系列已经成为内容创作、代码编写、对话系统等领域的核心工具。然而,许多用户在使用这些模型时,可能会发现输出结果有时过于保守和重复,有时又过于天马行空而缺乏连贯性。这背后其…

20250912在荣品RD-RK3588-MID开发板的Android13系统下在接电脑的时候禁止充电

20250912在荣品RD-RK3588-MID开发板的Android13系统下在接电脑的时候禁止充电 2025/9/12 10:21缘起:某人的电脑接荣品RD-RK3588-MID开发板的时候做APK开发板的时候,通过Android Studio连接荣品RD-RK3588-MID开发板。 经常断联/时断时续。投诉了/抱怨了好…

Unity Addressable System 本地服务器功能验证

1.从Package Manger里安装Addressable 注意这里有Addressables和Addressables两个包,前者是核心框架,处理跨平台通用逻辑,比如用 地址(Address)来异步加载、卸载资源;自动做引用计数,避免资源泄…

碎片化采购是座金矿:数字化正重构电子元器件分销的价值链

在电子元器件的分销江湖里,长期存在着一条隐秘的“鄙视链”:订单金额大、需求稳定的头部客户是众星捧月的“香饽饽”,而需求碎片化、品类繁多的小微企业长尾订单,则常被视作食之无味、弃之可惜的“鸡肋”。行业固有认知告诉我们&a…

Typescript - 通俗易懂的 interface 接口,创建接口 / 基础使用 / 可选属性 / 只读属性 / 任意属性(详细教程)

前言 在面向对象语言中,接口是一个很重要的概念,它是对行为的抽象,而具体如何行动需要由类去实现。 TypeScript 中的接口是一个非常灵活的概念,除了可用于 对类的一部分行为进行抽象 以外,也常用于对「对象的形状&…

【硬件-笔试面试题-92】硬件/电子工程师,笔试面试题(知识点:米勒效应,米勒平台)

题目汇总版--链接: 【硬件-笔试面试题】硬件/电子工程师,笔试面试题汇总版,持续更新学习,加油!!!-CSDN博客 【硬件-笔试面试题-92】硬件/电子工程师,笔试面试题(知识点…

C语言深度入门系列:第十一篇 - 动态内存管理与数据结构:程序世界的高效算法大师

C语言深度入门系列:第十一篇 - 动态内存管理与数据结构:程序世界的高效算法大师 本章目标 本章将深入探讨C语言中的动态内存管理和经典数据结构实现,这是从基础编程迈向算法工程师的关键一步。您将掌握内存的精确控制、理解各种数据结构的本质…

Go 语言开发环境安装与 GOPROXY 镜像配置(含依赖管理与版本切换技巧)

在国内搭建 Go 开发环境的最大障碍不是“怎么装”,而是“下不动”。本文是我在多台 Windows / macOS / Linux 机器上踩坑后的整合笔记:用最稳妥的安装方式 合理的镜像配置 一套通吃的依赖/版本管理流程,把速度、稳定性和可维护性一次性解决…

崔传波教授:以科技与人文之光,点亮近视患者的清晰视界‌

崔传波教授:以科技与人文之光,点亮近视患者的清晰视界‌在临沂新益民眼科医院,有这样一位眼科医师——他不仅是近视矫正领域的专家,更是“金视青春之光手术”的研发倡导者。‌崔传波教授‌以其深厚的学术功底、创新的技术理念和以…

如何写过滤条件wrapper的使用

模糊查询 &#xff1a;功能是&#xff1a;查询 WORK_NUM 字段包含 ${workOrder.workNum} 的记录。<if test"workOrder.workNum ! null and workOrder.workNum ! ">and b.WORK_NUM like CONCAT(%,CONCAT(#{workOrder.workNum},%)) </if>一、比较条件方法示…

【Spring Boot 报错已解决】彻底解决 “Main method not found in class com.xxx.Application” 报错

文章目录引言一、问题描述1.1 报错示例1.2 报错分析1.3 解决思路二、解决方法2.1 方法一&#xff1a;添加标准的main方法2.2 方法二&#xff1a;检查main方法的定义是否规范2.3 方法三&#xff1a;检查主类的位置是否正确2.4 方法四&#xff1a;重新构建项目并清理缓存三、其他…

配置自签证书多域名的动态网站+部署http的repo仓库+基于nfs与yum仓库的http部署

1.配置自签证书多域名的动态网站1.1配置自签证书1.1.1配置仓库[rootapache ~]# vim /etc/yum.repos.d/epel.repo [epel] nameepel baseurlhttps://mirrors.aliyun.com/epel/9/Everything/x86_64/ gpgcheck0 1.1.2安装easy-rsa工具(用于生成和…

【开题答辩全过程】以 12306候补购票服务系统为例,包含答辩的问题和答案

个人简介一名14年经验的资深毕设内行人&#xff0c;语言擅长Java、php、微信小程序、Python、Golang、安卓Android等开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。感谢大家的…

计算机毕业设计 基于深度学习的酒店评论文本情感分析研究 Python毕业设计项目 Hadoop毕业设计选题 机器学习选题【附源码+文档报告+安装调试】

博主介绍&#xff1a;✌从事软件开发10年之余&#xff0c;专注于Java技术领域、Python、大数据、人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&…

嵌入式第五十二天(GIC,协处理器,异常向量表)

一.GICGIC&#xff08;Generic Interrupt Controller&#xff0c;通用中断控制器&#xff09; 是ARM架构中管理系统中断的核心组件&#xff0c;负责接收、优先级排序、分发中断信号给处理器核心。其核心功能和关键版本如下&#xff1a;核心功能1. 中断接收与分发&#xff1a;接…

基于hiprint的票据定位打印系统开发实践

基于hiprint的票据定位打印系统开发实践 在日常的Web开发中&#xff0c;我们经常需要实现打印功能&#xff0c;特别是对于票据、标签等需要精确排版的打印需求。今天我将分享一个基于hiprint插件实现的票据定位打印系统&#xff0c;重点介绍如何实现单行打印、批量打印以及金额…

Android ScrollView嵌套RecyclerView 导致RecyclerView数据展示不全问题

Android RecyclerView 数据展示不全问题&#xff08;ScrollView→NestedScrollView 修复&#xff09; 一、问题核心现象 布局初始结构&#xff1a;外层用ScrollView包裹包含两个CustomBlogCardView&#xff08;内部均含RecyclerView&#xff09;的LinearLayout。 异常表现&…

AI助力数学学习,轻松掌握知识点!

小伙伴们&#xff0c;今天我们来利用AI辅助数学学习&#xff0c;将数学题目提交给AI,经过分析后给出相应的解题思路和知识点分析。现在有了AI这个"智能小老师"&#xff0c;学习变得更轻松&#xff01;只需把题目交给它&#xff0c;AI就能快速分析题目类型&#xff0c…