大模型应用开发1-认识大模型

1.基础概念

1.1 AI的概念:

AI,⼈⼯智能(Artificial Intelligence),使机器能够像⼈类⼀样思考、学习和解决问题的技术。
AI发展⾄今⼤概可以分为三个阶段:
其中,深度学习领域的自然语言处理(NLP)有一项关键技术叫Transformer,这是一种由多层感知机组成的神经网络模型,我们所熟知的大模型,如GPT,DeepSeek底层都是采用Transformer。

1.2 神经网络的基本概念

如果我们想通过模拟人脑的方式实现人工智能,首先就要模拟出一个神经元,于是人们提出感知机模型,用于模拟神经元,在感知机模型中,有输入,权重,激活函数,假设输入和激活函数都不变的情况下,我们可以通过调整权重值,得到不同输出。

单个感知机模型只能模拟单个神经元,每个感知机上都有输入,输出,激活函数,将来会结合用户的输入和权重以及激活函数,再与阈值(偏置)比较,最终得到输出,每个神经元上使用的权重和阈值都称为参数,每个神经元上的参数数量=权重数量+1,这里的1指的是偏置。

大模型的大指参数规模,现在我们通常将参数规模在1000亿以上的模型称为大模型。

1.3 大模型的基本概念

最早Transformer是由Google在2017年提出的⼀种神经⽹络模型,⼀开始的作⽤是把它作为机
器翻译的核⼼:

Transformer中提出的注意力机制使得神经网络在处理信息时可以根据上下文内容调整对于数据的理解,这使得我们可以将图片,音频等各种类型的数据都交给Transformer来处理
大语言模型(LLM)是对Transformer的另一种用法:推理预测。LLM在训练Transformer时会输入文本,图片等各种信息,然后让Transformer推理接下来跟着的应该是什么内容,推理的结果会以概率分布的形式出现。
在推理内容中,大模型可以持续生成大段有关联的文字内容,每次生成都会把前文的推测内容再次交给大模型处理,进而继续推断下一次生成的内容。

2.大模型基本使用

2.1 模型使用方案

我们要使用一个可访问的大模型通常有三种方案:

使用开放的API,在云平台部署私有大模型,在本地服务器部署私有大模型

开放API没有运维成本,按调用收费,但是长期使用成本较高且数据存在第三方,存在隐私和安全问题。云平台部署私有模型部署和运维方便,前期投入成本低,但是长期使用成本高,且同样存在安全问题。本地部署私有大模型数据完全自主掌控,安全性高,但硬件投入成本极高且维护困难。

2.2 Ollama本地部署

下载Ollama客户端并根据指令进行模型部署等操作

一、基础操作指令

指令功能示例
ollama run <模型名>运行指定模型(自动下载若不存在)ollama run llama3
ollama list查看本地已下载的模型列表ollama list
ollama pull <模型名>手动下载模型ollama pull mistral
ollama rm <模型名>删除本地模型ollama rm llama2
ollama help查看帮助文档ollama help

二、模型交互指令

1. 直接对话

ollama run llama3 "用中文写一首关于秋天的诗"

2. 进入交互模式

ollama run llama3
# 进入后输入内容,按 Ctrl+D 或输入 `/bye` 退出

3. 从文件输入

ollama run llama3 --file input.txt

4. 流式输出控制

参数功能示例
--verbose显示详细日志ollama run llama3 --verbose
--nowordwrap禁用自动换行ollama run llama3 --nowordwrap

三、模型管理

1. 自定义模型配置(Modelfile)

创建 Modelfile 文件:

FROM llama3  # 基础模型
PARAMETER temperature 0.7  # 控制随机性(0-1)
PARAMETER num_ctx 4096     # 上下文长度
SYSTEM """ 你是一个严谨的学术助手,回答需引用论文来源。"""                # 系统提示词

构建自定义模型:

ollama create my-llama3 -f Modelfile
ollama run my-llama3

2. 查看模型信息

ollama show <模型名> --modelfile  # 查看模型配置
ollama show <模型名> --parameters # 查看运行参数

四、高级功能

1. API 调用

启动 API 服务

ollama serve

通过 HTTP 调用

curl http://localhost:11434/api/generate -d '{"model": "llama3","prompt": "你好","stream": false
}'

2. GPU 加速配置

# 指定显存分配比例(50%)
ollama run llama3 --num-gpu 50

2.3 API调用大模型接口

目前大多数大模型都遵循OpenAI的接口规范,是给予http协议的接口,具体规范可查看相关大模型官方API文档。

大模型接口规范:

这是DeepSeek官方文档给出的调用示例:

# Please install OpenAI SDK first: `pip3 install openai`
from openai import OpenAI
# 1.初始化OpenAI客⼾端,要指定两个参数:api_key、base_url
client = OpenAI(api_key="<DeepSeek API Key>",
base_url="https://api.deepseek.com")
# 2.发送http请求到⼤模型,参数⽐较多
response = client.chat.completions.create(
model="deepseek-chat", # 2.1.选择要访问的模型
messages=[ # 2.2.发送给⼤模型的消息
{"role": "system", "content": "You are a helpful assistant"},
{"role": "user", "content": "Hello"},
],
stream=False # 2.3.是否以流式返回结果
)
print(response.choices[0].message.content)

接口说明:

请求路径:与平台有关

安全校验:开放平台提供API_KEY校验权限,Ollama不需要

请求参数:

model(访问模型名称)

message(发送给大模型的消息,是一个数组)

stream(true代表响应结果流式返回,false代表响应结果一次性返回,但需要等待)

temperature(取值范围[0,2),代表大模型生成结果的随机性,值越小随机性越低,deepseek-r1不支持此参数)

message数组中两个属性:role和content,通常,role有三种:

3.大模型应用

大模型应用是基于大模型的推理,分析,生成能力,结合传统编程能力,开发出的各种应用。

大模型是基于数据驱动的概率推理,擅长处理模糊性和不确定性,如自然语言处理(文本翻译),非结构化数据处理(医学影像诊断),创造性内容生成(生成图片),复杂模式预测(股票预测)等,而上述内容正式我们传统应用所不擅长处理的部分,因此,可以将传统编程和大模型整合起来,开发智能化的大模型应用。

大模型本身只是具备生成文本的能力,基本推理能力,我们平时使用的ChatGPT等对话产品除了生成和推理外,还有会话记忆,联网等功能,这些是大模型本身所不具备的,是需要额外程序去完成的,也就是基于大模型的应用。

常见的一些大模型产品及其模型关系:

大模型对话产品公司地址
GPT-3.5、GPT-4oChatGPTOpenAIhttps://chatgpt.com/
Claude 4.0Claude AIAnthropicApp unavailable \ Anthropic
DeepSeek-R1DeepSeek深度求索DeepSeek | 深度求索
文心大模型 3.5文心一言百度文心一言
星火 3.5讯飞星火科大讯飞讯飞星火-懂我的AI助手
Qwen-Max通义千问阿里巴巴通义 - 你的实用AI助手
MoonshootKimi月之暗面Kimi - 会推理解析,能深度思考的AI助手
Yi-Large零一万物零一万物零一万物-大模型开放平台

大模型应用的常见领域:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/pingmian/91325.shtml
繁体地址,请注明出处:http://hk.pswp.cn/pingmian/91325.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux 远程连接解析:SSH 协议理论与应用

Linux 远程连接解析&#xff1a;SSH 协议理论与应用在网络互联的时代&#xff0c;远程管理服务器已成为常态。SSH&#xff08;Secure Shell&#xff09;作为一种安全的网络协议&#xff0c;凭借其加密机制和灵活的功能&#xff0c;成为 Linux 系统远程操作的事实标准。本文将从…

ubuntu22.04系统入门 linux入门 简单命令基础复习 实现以及实践

以下有免费的4090云主机提供ubuntu22.04系统的其他入门实践操作 地址&#xff1a;星宇科技 | GPU服务器 高性能云主机 云服务器-登录 相关兑换码星宇社区---4090算力卡免费体验、共享开发社区-CSDN博客 兑换码要是过期了&#xff0c;可以私信我获取最新兑换码&#xff01;&a…

软考中级-信息安全工程师-每日一学(1)

前提概要本文章主要用于分享软考中级-信息安全工程师-学习&#xff0c;以下是一些个人理解&#xff0c;请大家结合参考其他文章中的相关信息及个人经验进行归纳和补充&#xff0c;内容会存在一定错误&#xff0c;希望读者多多评论批评&#xff0c;本人在此先说感谢啦。1.密码学…

EEG手工特征提取总结

目录一、引言EEG信号简介EEG特征提取的重要性本次汇报目的与内容概述二、EEG信号核心特征时域特征 (Time-Domain Features)频域特征 (Frequency-Domain Features)三、EEG信号高级特征时频域特征 (Time-Frequency Domain Features)空间域特征 (Spatial-Domain Features)复杂动力…

React 路由守卫

下面&#xff0c;我们来系统的梳理关于 React Router 路由守卫 的基本知识点&#xff1a;一、路由守卫概述 1.1 什么是路由守卫 路由守卫是一种在用户导航到特定路由之前或离开特定路由时执行逻辑的机制。它允许开发者控制用户访问权限、验证条件或执行数据预加载等操作。 1.2 …

7月31日作业

1&#xff1a;请使用函数模板&#xff0c;写一个能够针对所有数据类型的数据的快速排序函数 并多写几个数组做测试代码#include <iostream> #include <cstring> #include <cstdlib> #include <unistd.h> #include <sstream> #include <vector…

客户服务自动化:如何用CRM减少50%人工工单?

通过CRM系统实现客户服务自动化&#xff0c;企业可以显著减少人工工单的数量&#xff0c;提升整体服务效率。那么如何利用CRM系统实现客户服务自动化&#xff1f;帮助企业从根本上解决人工工单处理的难题&#xff0c;提升服务质量&#xff0c;优化资源配置&#xff0c;最终实现…

常用设计模式系列(十四)—模板方法模式

常用设计模式系列&#xff08;十四&#xff09;—模板方法模式 第一节 前言 之前我完成了创建型设计模式和结构型设计模式&#xff0c;我们今天将踏入设计模式的第三章&#xff1a;行为型设计模式&#xff0c;你是否还记得什么是行为型设计模式吗&#xff1f;行为型模式&#x…

DoRA详解:从LoRA到权重分解的进化

DoRA​​是一种用于​​大语言模型&#xff08;LLM&#xff09;微调​​的技术&#xff0c;全称为 ​​"Weight-Decomposed Low-Rank Adaptation"​​&#xff08;权重分解的低秩自适应&#xff09;。它是对现有微调方法&#xff08;如 ​​LoRA​​&#xff09;的改…

RocksDB关键设计详解

0 说明 近日工作中使用了 RocksDB。RocksDB 的优点此处无需多说&#xff0c;它的一个 feature 是其有很多优化选项用于对 RocksDB 进行调优。欲熟悉这些参数&#xff0c;必须对其背后的原理有所了解&#xff0c;本文主要整理一些 RocksDB 的 wiki 文档&#xff0c;以备自己参考…

Kotlin -> 普通Lambda vs 挂起Lambda

1. 普通Lambda vs 挂起Lambda的本质区别 1.1 普通Lambda&#xff08;同步执行&#xff09; val lambda: (Int) -> String { it.toString() }// 编译器生成&#xff1a; class Lambda$1 : Function1<Int, String> {override fun invoke(p1: Int): String {return p1.t…

Apache Ignite 中如何配置和启用各类监控指标

这段文档是关于 Apache Ignite 中如何配置和启用各类监控指标&#xff08;Metrics&#xff09; 的详细说明。核心思想是&#xff1a;“指标收集有性能开销&#xff0c;因此默认不开启所有指标&#xff0c;需要你按需手动开启。” 下面我们来逐层拆解、通俗易懂地理解这些内容。…

uniapp x swiper/image组件mode=“aspectFit“ 图片有的闪现后黑屏

部分安卓机针对大写.JPG 有的竖图正常&#xff0c;横图/正方形不对。解决方案&#xff1a;加border-radius: 1rpx;就行<!-- 图片预览弹出框 --><fui-backdrop v-model:visible"imgPreviewVisible" :closable"true" onclick"imgPreviewVisibl…

conda安装jupter

conda自带的jupter本来在base里没有在pytorch环境中 安装jupter conda install nb_conda 此扩展程序在 Jupyter 文件浏览器中添加了一个 Conda 选项卡。选择 Conda 选项卡将显示&#xff1a; 当前存在的 Conda 环境列表当前配置的通道中可用的 Conda 包列表&#xff08;htt…

嵌入式操作系统快速入门(1):快速入门操作系统常见基础概念

快速体会操作系统常见基础概念 1 初识基本概念 1.1 操作系统 一个软件程序&#xff1b;用于解决计算机多任务执行时的资源争抢问题&#xff1b;管理计算机中的各种资源&#xff0c;确保计算机正常完成各种工作&#xff08;任务&#xff09;&#xff0c;解决多任务环境中任务的调…

网络安全-同形异义字攻击:眼见并非为实(附案例详解)

什么是同形异义字攻击&#xff1f;对人眼而言&#xff0c;一切看起来完全正常。但实际上&#xff0c;例如单词 Ηоmоgraph 并不完全等同于单词 Homograph。它们之间的差异非常细微&#xff0c;难以察觉。Ηоmоgraph 实际上包含了几个非拉丁字母。在本例中&#xff0c;我们将…

windows服务器 maven 配置环境变量,验证maven环境变量是否配置成功

前置条件&#xff1a;先确认对应版本的jdk已安装配置好&#xff0c;可使用java -version检测; 我使用的apache-maven-3.6.3是对应jdk1.8 1.找到系统变量配置窗口 以windows server2019为例&#xff0c;右键计算机属性&#xff0c; 高级系统设置–》环境变量–》系统变量2.新建M…

安装 docker compose v2版 笔记250731

安装 docker compose v2版 笔记250731 简述 v2版是插件形式 确认系统要求, 已安装 Docker Engine&#xff08;版本 20.10.5 或更高&#xff09; 安装方式可分为 apt 或 yum 安装 (能自动升级) apt install docker-compose-pluginyum install docker-compose-plugin 手动二…

PHP 5.5 Action Management with Parameters (English Version)

PHP 5.5 Action Management with Parameters (English Version) Here’s a PHP 5.5 compatible script that uses URL parameters instead of paths for all operations: <?php // Start session for persistent storage session_start();// Initialize the stored actio…

GR-3(4B) 技术报告--2025.7.23--字节跳动 Seed

0. 前言 前两天字节发布了GR-3&#xff0c;粗略的看了一下&#xff0c;在某些方面超过了SOTA pi0&#xff0c;虽然不开源&#xff0c;但是也可以来看一看。 官方项目页 1. GR-3模型 1.1 背景 在机器人研究领域&#xff0c;一直以来的目标就是打造能够帮助人类完成日常任务…