LLaMaFactory - 支持的模型和模板 常用命令

一、 环境准备

激活LLaMaFactory环境，进入LLaMaFactory目录

cd LLaMA-Factoryconda activate llamafactory

 下载模型

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen2.5-0.5B-Instruct')

二、启动一个  Qwen3-0.6B 模型的网页聊天界面

使用 LLaMA-Factory 工具启动一个基于 Qwen3-0.6B 模型的网页聊天界面。


CUDA_VISIBLE_DEVICES=0 llamafactory-cli webchat \--model_name_or_path /root/.cache/modelscope/hub/models/Qwen/Qwen3-0.6B \--template qwen

  • CUDA_VISIBLE_DEVICES=0

    • 指定使用 第0号GPU（单卡运行），屏蔽其他GPU设备。

  • llamafactory-cli webchat

    • 调用 llamafactory 工具的 CLI 接口，启动 网页聊天服务（Web Chat）。

  • --model_name_or_path /root/.cache/modelscope/hub/models/Qwen/Qwen3-0.6B

    • 加载模型路径：

      • 从 ModelScope Hub 的本地缓存（/root/.cache/modelscope）加载 Qwen3-0.6B 模型（60亿参数版本）。

      • 若本地无缓存，会先自动下载模型。

  • --template qwen

    • 指定使用 Qwen系列专用对话模板，确保模型按Qwen的指令格式处理输入输出（如特殊token和角色标记）。

在LLM（大语言模型）应用中，template（模板） 是控制模型输入输出格式的关键配置，直接影响对话质量和行为。在LLamaFactory中不同模型所使用的模板也会不同。

ModelModel sizeTemplate
Baichuan 27B/13Bbaichuan2
BLOOM/BLOOMZ560M/1.1B/1.7B/3B/7.1B/176B-
ChatGLM36Bchatglm3
Command R35B/104Bcohere
DeepSeek (Code/MoE)7B/16B/67B/236Bdeepseek
DeepSeek 2.5/3236B/671Bdeepseek3
DeepSeek R1 (Distill)1.5B/7B/8B/14B/32B/70B/671Bdeepseekr1
Falcon7B/11B/40B/180Bfalcon
Gemma/Gemma 2/CodeGemma2B/7B/9B/27Bgemma
Gemma 31B/4B/12B/27Bgemma3/gemma (1B)
GLM-4/GLM-4-0414/GLM-Z19B/32Bglm4/glmz1
GPT-20.1B/0.4B/0.8B/1.5B-
Granite 3.0-3.31B/2B/3B/8Bgranite3
Hunyuan7Bhunyuan
Index1.9Bindex
InternLM 2-37B/8B/20Bintern2
InternVL 2.5-31B/2B/8B/14B/38B/78Bintern_vl
Kimi-VL16Bkimi_vl
Llama7B/13B/33B/65B-
Llama 27B/13B/70Bllama2
Llama 3-3.31B/3B/8B/70Bllama3
Llama 4109B/402Bllama4
Llama 3.2 Vision11B/90Bmllama
LLaVA-1.57B/13Bllava
LLaVA-NeXT7B/8B/13B/34B/72B/110Bllava_next
LLaVA-NeXT-Video7B/34Bllava_next_video
MiMo7Bmimo
MiniCPM1B/2B/4Bcpm/cpm3
MiniCPM-o-2.6/MiniCPM-V-2.68Bminicpm_o/minicpm_v
Ministral/Mistral-Nemo8B/12Bministral
Mistral/Mixtral7B/8x7B/8x22Bmistral
Mistral Small24Bmistral_small
OLMo1B/7B-
PaliGemma/PaliGemma23B/10B/28Bpaligemma
Phi-1.5/Phi-21.3B/2.7B-
Phi-3/Phi-3.54B/14Bphi
Phi-3-small7Bphi_small
Phi-414Bphi4
Pixtral12Bpixtral
Qwen (1-2.5) (Code/Math/MoE/QwQ)0.5B/1.5B/3B/7B/14B/32B/72B/110Bqwen
Qwen3 (MoE)0.6B/1.7B/4B/8B/14B/32B/235Bqwen3
Qwen2-Audio7Bqwen2_audio
Qwen2.5-Omni3B/7Bqwen2_omni
Qwen2-VL/Qwen2.5-VL/QVQ2B/3B/7B/32B/72Bqwen2_vl
Seed Coder8Bseed_coder
Skywork o18Bskywork_o1
StarCoder 23B/7B/15B-
TeleChat23B/7B/35B/115Btelechat2
XVERSE7B/13B/65Bxverse
Yi/Yi-1.5 (Code)1.5B/6B/9B/34Byi
Yi-VL6B/34Byi_vl
Yuan 22B/51B/102Byuan

三、 llama_factory常用命令

动作参数枚举参数说明
llamafactory-cli version显示版本信息version

# 单卡训练（Qwen1.5-4B模型） CUDA_VISIBLE_DEVICES=0 llamafactory-cli train \ --model_name_or_path Qwen/Qwen1.5-4B \ --dataset alpaca_en \ --template qwen \ --output_dir ./output

# 多卡训练（使用2张GPU） CUDA_VISIBLE_DEVICES=0,1 llamafactory-cli train \ --model_name_or_path meta-llama/Llama3-8B \ --dataset alpaca_en,code_alpaca \ --template llama3 \ --bf16 true \ --deepspeed configs/ds_config.json

命令行版本训练tran
# 加载本地微调后的模型 llamafactory-cli chat \ --model_name_or_path ./output/checkpoint-1000 \ --template qwen \ --quantization_bit 4 # 4位量化减少显存占用命令行版本推理chat

# 合并LoRA适配器到基座模型 llamafactory-cli export \ --model_name_or_path Qwen/Qwen1.5-4B \ --adapter_name_or_path ./lora_output \ --template qwen \ --export_dir ./merged_model

# 导出为GGUF格式（用于llama.cpp） llamafactory-cli export \ --model_name_or_path ./merged_model \ --quantization_bit 4 \ --export_gguf true

模型合并和导出export
# 启动REST API服务（默认端口8000） CUDA_VISIBLE_DEVICES=0 llamafactory-cli api \ --model_name_or_path Qwen/Qwen1.5-4B \ --template qwen \ --port 8080 # 自定义端口启动API server，供接口调用api
# 在MMLU数据集上评测 llamafactory-cli eval \ --model_name_or_path ./output/checkpoint-1000 \ --eval_dataset mmlu \ --template qwen \ --batch_size 8使用mmlu等标准数据集做评测eval
# 启动Web聊天界面（自动打开浏览器） CUDA_VISIBLE_DEVICES=0 llamafactory-cli webchat \ --model_name_or_path THUDM/chatglm3-6b \ --template chatglm3 \ --quantization_bit 4前端版本纯推理的chat页面webchat
# 启动集成训练/评测/聊天的可视化界面 llamafactory-cli webui \ --model_name_or_path Qwen/Qwen1.5-7B \ --template qwen启动LlamaBoard前端页面，包含可视化训练，预测，chat，模型合并多个子页面webui

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.pswp.cn/diannao/85053.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

EDW2025｜数据治理的神话破除——从误区到现实

EDW2025｜数据治理的神话破除——从误区到现实

在当今数据驱动的世界中，数据治理已成为企业成功的关键因素。然而，许多组织在实施数据治理时，常常被一些常见的误区所困扰。本文将逐一破除这些误区，揭示数据治理的真实面貌。 误区一：你需要一个大的预算！…
阅读更多...
AIGC与影视制作：技术革命、产业重构与未来图景

AIGC与影视制作：技术革命、产业重构与未来图景

文章目录 一、AIGC技术全景：从算法突破到产业赋能1. **技术底座：多模态大模型的进化路径**2. **核心算法：从生成对抗网络到扩散模型的迭代** 二、AIGC在影视制作全流程中的深度应用1. **剧本创作：从“灵感枯竭”到“创意井喷”**2…
阅读更多...
ReactJS 中的 JSX工作原理

ReactJS 中的 JSX工作原理

文章目录 前言✅ 1. JSX 是什么？🔧 2. 编译后的样子（核心机制）🧱 3. React.createElement 做了什么？🧠 4. JSX 与组件的关系🔄 5. JSX 到真实 DOM 的过程📘 6. JSX 与 Fr…
阅读更多...
Spring Advisor增强规则实现原理介绍

Spring Advisor增强规则实现原理介绍

Spring Advisor增强规则实现原理介绍 一、什么是 Advisor？1. Advisor 的定义与本质接口定义： 2. Advisor 的核心作用统一封装切点与通知构建拦截器链的基础实现增强逻辑的灵活组合 二. Sprin当中的实现逻辑1 Advisor 接口定义2 PointcutAdvisor 接口定义…
阅读更多...
小程序32-简易双向数据绑定

小程序32-简易双向数据绑定

在WXML中&#xff0c;普通属性的绑定是单向的&#xff0c;例如:<input value"{{value}}" /> 如果希望用户输入数据的同时改变data中的数据&#xff0c;可以借助简易双向绑定机制。在对应属性之前添加model:前缀即可: 例如<input model:value"{{value}…
阅读更多...
Nginx网站服务：从入门到LNMP架构实战

Nginx网站服务：从入门到LNMP架构实战

&#x1f3e1;作者主页&#xff1a;点击&#xff01; Nginx-从零开始的服务器之旅专栏&#xff1a;点击&#xff01; &#x1f427;Linux高级管理防护和群集专栏&#xff1a;点击&#xff01; ⏰️创作时间&#xff1a;2025年5月30日14点22分 前言 说起Web服务器&#xff0c…
阅读更多...
【maker-pdf 文档文字识别（包含ocr），安装使用完整教程】

【maker-pdf 文档文字识别（包含ocr），安装使用完整教程】

安装环境 conda create -n maker-pdf python3.12 conda activate marker-pdf pip install modelscope pip install marker-pdf -U下载模型 from modelscope import snapshot_downloadmodel_root "models" snapshot_download("Lixiang/marker-pdf", loca…
阅读更多...
C# 类和继承(所有类都派生自object类)

C# 类和继承(所有类都派生自object类)

所有类都派生自object类 除了特殊的类object&#xff0c;所有的类都是派生类&#xff0c;即使它们没有基类规格说明。类object是唯 一的非派生类&#xff0c;因为它是继承层次结构的基础。 没有基类规格说明的类隐式地直接派生自类object。不加基类规格说明只是指定object为 基…
阅读更多...
尚硅谷redis7 90-92 redis集群分片之集群扩容

尚硅谷redis7 90-92 redis集群分片之集群扩容

90 redis集群分片之集群扩容 三主三从不够用了&#xff0c;进行扩容变为4主4从 问题&#xff1a;1.新建两个redis实例&#xff0c;怎么加入原有集群&#xff1f;2.原有的槽位分3段&#xff0c;又加进来一个槽位怎么算&#xff1f; 新建6387、6388两个服务实例配置文件新建后启…
阅读更多...
尚硅谷-尚庭公寓部署文档

尚硅谷-尚庭公寓部署文档

文章目录 整合版部署文档部署架构图1. 项目目录结构增加注释的 Dockerfile 配置(1) 后端服务1 Dockerfile (backend/service1/Dockerfile)(2) 后端服务2 Dockerfile (backend/service2/Dockerfile) Dockerfile 配置说明重要注意事项3. Nginx 配置(1) 主配置文件 (nginx/nginx.c…
阅读更多...
Android Studio 介绍

Android Studio 介绍

如何关闭或彻底删除一个工程 基于Android Studio的android入门——如何关闭或彻底删除一个工程 搜索内容 Android Studio高效指南&#xff1a;快速查找技巧大揭秘 build命令&#xff1a;gradle app:assembleDebug 命令解析 1. 命令结构与作用 核心功能&#xff1a;该命令…
阅读更多...
JAVA与C语言之间的差异（一）

JAVA与C语言之间的差异（一）

一、代码习惯以及主函数 JAVA中{在使用的时候不要换行 public static void main(String[] args) {int[] array {1, 2, 3};for(int i 0; i < array.length; i){System.out.println(array[i] " ");}} 其次&#xff0c;以main函数为主函数&#xff1a; public …
阅读更多...
华为OD机试真题——开放日活动／取出尽量少的球（2025A卷：200分）Java/python/JavaScript/C++/C语言/GO六种最佳实现

华为OD机试真题——开放日活动／取出尽量少的球（2025A卷：200分）Java/python/JavaScript/C++/C语言/GO六种最佳实现

2025 A卷 200分 题型 本文涵盖详细的问题分析、解题思路、代码实现、代码详解、测试用例以及综合分析； 并提供Java、python、JavaScript、C++、C语言、GO六种语言的最佳实现方式！ 本文收录于专栏：《2025华为OD真题目录+全流程解析/备考攻略/经验分享》 华为OD机试真题《开放…
阅读更多...
我的3种AI写作节奏搭配模型，适合不同类型写作者

我的3种AI写作节奏搭配模型，适合不同类型写作者

—不用内耗地高效写完一篇内容&#xff0c;原来可以这样搭配AI ✍️ 开场&#xff1a;为什么要“搭配节奏”写作&#xff1f; 很多人以为用AI写作&#xff0c;就是丢一句提示词&#xff0c;然后“等它写完”。 但你有没有遇到这些情况&#xff1a; AI写得很快&#xff0c;学境…
阅读更多...
【知识点】第1章：程序设计基本方法

【知识点】第1章：程序设计基本方法

文章目录 知识点整理计算机的概念程序设计语言Python 语言概述Python 语言开发环境配置程序的基本编写方法 练习题简答题判断题 知识点整理 计算机的概念 计算机的定义&#xff1a;计算机是根据指令操作数据的设备。 计算机的两个基本特性&#xff1a; 功能性&#xff1a;计…
阅读更多...
const ‘不可变’到底是值不变还是地址不变

const ‘不可变’到底是值不变还是地址不变

const的基础规则 声明时必须初始化​ const a; // ❌ 报错&#xff1a;Missing initializer in const declaration const b 10; // ✅ 正确块级作用域​&#xff08;const 的作用域仅限于声明它的代码块&#xff09; if (true) {const x 100; } console.log(x); // ❌ 报错…
阅读更多...
Netty 实战篇：为自研 RPC 框架加入异步调用与 Future 支持

Netty 实战篇：为自研 RPC 框架加入异步调用与 Future 支持

我们在上篇实现了一个轻量级 RPC 框架&#xff0c;现在要进一步优化 —— 加入异步响应支持&#xff0c;让 RPC 通信变得真正高效、非阻塞、支持并发。 一、为什么需要异步调用&#xff1f; 上篇的 RPC 框架是“同步阻塞”的&#xff1a; 每次发送请求后&#xff0c;必须等待服…
阅读更多...
for(auto a:b)和for(auto a:b)的区别

for(auto a:b)和for(auto a:b)的区别

#include<iostream> using namespace std; int main() {string s( "hello world" );for (auto c:s)c t ;cout<<s<<endl; //结果为hello worldfor (auto &c:s)c t ;cout<<s<<endl; //结果为ttttttttttt }for(auto a:b)中b为一…
阅读更多...
超级对话2：大跨界且大综合的学问融智学应用场景述评（不同第三方的回应）之二

超级对话2：大跨界且大综合的学问融智学应用场景述评（不同第三方的回应）之二

摘要&#xff1a;《人机协同文明升维行动框架》提出以HIAICI/W公式推动认知革命&#xff0c;构建三大落地场景&#xff1a;1&#xff09;低成本认知增强神经接口实现300%学习效率提升&#xff1b;2&#xff09;全球学科活动化闪电战快速转化知识体系&#xff1b;3&#xff09;人…
阅读更多...
多方法解决MNIST数字识别

多方法解决MNIST数字识别

全连接层 import torch from torchvision import datasets, transforms import torch.nn as nn import torch.optim as optim from tqdm import tqdm # 用于进度条显示 import os# 定义数据预处理（标准化+Tensor转换） transform = transforms.Compose([transforms.ToTensor…
阅读更多...
最新文章

Copyright @ 2022~2023