GPT垂直领域相关模型 现有的开源领域大模型

对于ToC端来说，广大群众的口味已经被ChatGPT给养叼了，市场基本上被ChatGPT吃的干干净净。虽然国内大厂在紧追不舍，但目前绝大多数都还在实行内测机制，大概率是不会广泛开放的（毕竟，各大厂还是主盯ToB、ToG市场的，从华为在WAIC的汇报就可以看出）。而对于ToB和ToG端来说，本地化部署、领域or行业内效果绝群、国产化无疑就成为了重要的考核指标。

个人觉得垂直领域大模型或者说大模型领域化、行业化才是大模型落地的核心要素。恰好前几天ChatLaw（一款法律领域大模型产品）也是大火，当时也是拿到了一手内测资格测试了一阵，也跟该模型的作者聊了很久。正好利用周末的时间，好好思考、梳理、汇总了一些垂直领域大模型内容。

文章内容将从ChatLaw展开、到垂直领域大模型的一些讨论、最后汇总一下现有的开源领域大模型。

聊聊对ChatLaw的看法

ChatLaw的出现，让我更加肯定未来大模型落地需要具有领域特性。相较于目前领域大模型，ChatLaw不仅仅是一个模型，而是一个经过设计的大模型领域产品，已经在法律领域具有很好的产品形态。

Paper: https://arxiv.org/pdf/2306.16092.pdf

Github: https://github.com/PKU-YuanGroup/ChatLaw官网: https://www.chatlaw.cloud/

可能会有一些质疑，比如：不就是一个langchain吗？法律领域它能保证事实性问题吗？等等等。但，我觉得在否定一件事物的前提，是先去更深地了解它。

ChatLaw共存在两种模式：普通模型和专业模型。普通模式就是仅基于大模型进行问答。

而专业模式是借助检索的手段，对用户查询进行匹配从知识库中筛选出合适的证据，再根据大模型汇总能力，得到最终答案。

由于专业模式，借助了知识库的内容，也会使得用户得到的效果更加精准。而在专业版中，ChatLaw制定了一整套流程，如上图所示，存在反问提示进行信息补全，用户信息确认、相似案例检索、建议汇总等。

作者@JessyTsui（知乎） 也说过，其实ChatLaw=ChatLaw LLM + keyword LLM + laws LLM。而keyword LLM真的让我眼前一亮的，之前对关键词抽取的理解，一直是从文本中找到正确的词语，在传统检索中使用同义词等方法来提高检索效果。而keyword LLM利用大模型生成关键词，不仅可以找到文本中的重点内容，还可以总结并释义出一些词。使得整个产品在检索证据内容时，效果更加出色。

深度学习自然语言处理, 垂直领域大模型的一些思考及开源模型汇总

同时，由于不同模型对不同类型问题解决效果并不相同，所以在真正使用阶段，采用HuggingGPT作为调度器的方式，在每次用户请求的时候去选择调用更加适配的模型。也就是让适合的模型做更适合的事情。

聊聊对垂直领域大模型的看法

现在大模型的使用主要就是两种模型，第一种是仅利用大模型本身解决用户问题；第二种就是借助外部知识来解决用户问题。而我个人觉得是“借助外部知识进行问答”才是未来，虽然会对模型推理增加额外成本，但是外部知识是缓解模型幻觉的有效方法。

但随着通用大模型底层能力越来越强，以及可接受文本越来越长，在解决垂直领域问题时，完全可以采用ICL技术，来提升通用大模型在垂直领域上的效果，那么训练一个垂直领域大模型是否是一个伪命题，我们还有必要做吗？

个人认为是需要的，从几个方面来讨论：

  • 1、个人觉得真正垂直领域大模型的做法，应该从Pre-Train做起。SFT只是激发原有大模型的能力，预训练才是真正知识灌输阶段，让模型真正学习领域数据知识，做到适配领域。但目前很多垂直领域大模型还停留在SFT阶段。

  • 2、对于很多企业来说，领域大模型在某几个能力上绝群就可以了。难道我能源行业，还需要care模型诗写的如何吗？所以领域大模型在行业领域上效果是优于通用大模型即可，不需要“即要又要还要”。

  • 3、不应某些垂直领域大模型效果不如ChatGPT，就否定垂直领域大模型。有没有想过一件可怕的事情，ChatGPT见的垂直领域数据，比你的领域大模型见的还多。但某些领域数据，ChatGPT还是见不到的。

  • 4、考虑到部署成本得问题，我觉得在7B、13B两种规模的参数下，通用模型真地干不过领域模型。及时175B的领域大模型没有打过175B的通用模型又能怎么样呢？模型参数越大，需要数据量越大，领域可能真的没有那么多数据。

PS：很多非NLP算法人员对大模型产品落地往往会有一些疑问： 

Q：我有很多的技术标准和领域文本数据，直接给你就能训练领域大模型了吧？ 

A：是也不是，纯文本只能用于模型的预训练，真正可以进行后续问答，需要的是指令数据。当然可以采用一些人工智能方法生成一些指数据，但为了保证事实性，还是需要进行人工校对的。高质量SFT数据，才是模型微调的关键。 

Q：你用领域数据微调过的大模型，为什么不直接问答，还要用你的知识库？ 

A：外部知识主要是为了解决模型幻觉、提高模型回复准确。 

Q：为什么两次回复结果不一样？ 

A：大模型一般为了保证多样性，解码常采用Top-P、Top-K解码，这种解码会导致生成结果不可控。如果直接采用贪婪解码，模型生成结果会是局部最优。 

Q：我是不是用开源6B、7B模型自己训练一个模型就够了？ 

A：兄弟，没有训练过33B模型的人，永远只觉得13B就够了。

以上是个人的一些想法，以及一些常见问题的回复，不喜勿喷，欢迎讨论，毕竟每个人对每件事的看法都不同。

开源垂直领域大模型汇总

目前有很多的垂直领域大模型已经开源，主要在医疗、金融、法律、教育等领域，本小节主要进行「中文开源」模型的汇总及介绍。

「PS：一些领域大模型，如未开源不在该汇总范围内；并且欢迎大家留言，查缺补漏。」

医疗领域

非中文项目：BioMedLM、PMC-LLaMA、ChatDoctor、BioMedGPT等，在此不做介绍。

MedicalGPT-zh

Github: https://github.com/MediaBrain-SJTU/MedicalGPT-zh

  • 简介：基于ChatGLM-6B指令微调的中文医疗通用模型。

  • 数据：通过对16组诊疗情景和28个科室医用指南借助ChatGPT构造182k条数据。数据也已开源。

  • 训练方法：基于ChatGLM-6B，采用Lora&16bit方法进行模型训练。

DoctorGLM

Github: https://github.com/xionghonglin/DoctorGLM

  • 简介：一个基于ChatGLM-6B的中文问诊模型。

  • 数据：主要采用CMD（Chinese Medical Dialogue Data）数据。

  • 训练方法：基于ChatGLM-6B模型，采用Lora和P-tuning-v2两种方法进行模型训练。

PS：数据来自Chinese-medical-dialogue-data项目。

Huatuo-Llama-Med-Chinese

Github: https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese

  • 简介：本草（原名：华驼-HuaTuo）: 基于中文医学知识的LLaMA微调模型。

  • 数据：通过医学知识图谱和GPT3.5 API构建了中文医学指令数据集，数据共开源9k条。

  • 训练方法：基于Llama-7B模型，采用Lora方法进行模型训练。

Med-ChatGLM

Github: https://github.com/SCIR-HI/Med-ChatGLM

  • 简介：基于中文医学知识的ChatGLM模型微调，与本草为兄弟项目。

  • 数据：与Huatuo-Llama-Med-Chinese相同。

  • 训练方法：基于ChatGLM-6B模型，采用Lora方法进行模型训练。

ChatMed

Github: https://github.com/michael-wzhu/ChatMed

  • 简介：中文医疗大模型，善于在线回答患者/用户的日常医疗相关问题.

  • 数据：50w+在线问诊+ChatGPT回复作为训练集。

  • 训练方法：基于Llama-7B模型，采用Lora方法进行模型训练。

ShenNong-TCM-LLM

Github: https://github.com/michael-wzhu/ShenNong-TCM-LLM

  • 简介：“神农”大模型，首个中医药中文大模型，与ChatMed为兄弟项目。

  • 数据：以中医药知识图谱为基础，采用以实体为中心的自指令方法，调用ChatGPT得到11w+的围绕中医药的指令数据。

  • 训练方法：基于Llama-7B模型，采用Lora方法进行模型训练。

BianQue

Github: https://github.com/scutcyr/BianQue

  • 简介：扁鹊，中文医疗对话模型。

  • 数据：结合当前开源的中文医疗问答数据集（MedDialog-CN、IMCS-V2、CHIP-MDCFNPC、MedDG、cMedQA2、Chinese-medical-dialogue-data），分析其中的单轮/多轮特性以及医生问询特性，结合实验室长期自建的生活空间健康对话大数据，构建了千万级别规模的扁鹊健康大数据BianQueCorpus。

  • 训练方法：扁鹊-1.0以ChatYuan-large-v2作为底座模型全量参数训练得来，扁鹊-2.0以ChatGLM-6B作为底座模型全量参数训练得来。

SoulChat

Github: https://github.com/scutcyr/SoulChat

  • 简介：中文领域心理健康对话大模型，与BianQue为兄弟项目。

  • 数据：构建了超过15万规模的单轮长文本心理咨询指令数据，并利用ChatGPT与GPT4，生成总共约100万轮次的多轮回答数据。

  • 训练方法：基于ChatGLM-6B模型，采用全量参数微调方法进行模型训练。

法律领域

LaWGPT

Github: https://github.com/pengxiao-song/LaWGPT

  • 简介：基于中文法律知识的大语言模型。

  • 数据：基于中文裁判文书网公开法律文书数据、司法考试数据等数据集展开，利用Stanford_alpaca、self-instruct方式生成对话问答数据，利用知识引导的数据生成，引入ChatGPT清洗数据，辅助构造高质量数据集。

  • 训练方法：（1）Legal-Base-7B模型：法律基座模型，使用50w中文裁判文书数据二次预训练。（2）LaWGPT-7B-beta1.0模型：法律对话模型，构造30w高质量法律问答数据集基于Legal-Base-7B指令精调。（3）LaWGPT-7B-alpha模型：在Chinese-LLaMA-7B的基础上直接构造30w法律问答数据集指令精调。（4）LaWGPT-7B-beta1.1模型：法律对话模型，构造35w高质量法律问答数据集基于Chinese-alpaca-plus-7B指令精调。

ChatLaw

Github: https://github.com/PKU-YuanGroup/ChatLaw

  • 简介：中文法律大模型

  • 数据：主要由论坛、新闻、法条、司法解释、法律咨询、法考题、判决文书组成，随后经过清洗、数据增强等来构造对话数据。

  • 训练方法：（1）ChatLaw-13B：基于姜子牙Ziya-LLaMA-13B-v1模型采用Lora方式训练而来。（2）ChatLaw-33B：基于Anima-33B采用Lora方式训练而来。

LexiLaw

Github: https://github.com/CSHaitao/LexiLaw

  • 简介：中文法律大模型

  • 数据：BELLE-1.5M通用数据、LawGPT项目中52k单轮问答数据和92k带有法律依据的情景问答数据、Lawyer LLaMA项目中法考数据和法律指令微调数据、华律网20k高质量问答数据、百度知道收集的36k条法律问答数据、法律法规、法律参考书籍、法律文书。

  • 训练方法：基于ChatGLM-6B模型，采用Freeze、Lora、P-Tuning-V2三种方法进行模型训练。

LAW-GPT

Github: https://github.com/LiuHC0428/LAW-GPT

  • 简介：中文法律大模型（獬豸）

  • 数据：现有的法律问答数据集和基于法条和真实案例指导的self-Instruct构建的高质量法律文本问答数据。

  • 训练方法：基于ChatGLM-6B，采用Lora&16bit方法进行模型训练。

lawyer-llama

Github: https://github.com/AndrewZhe/lawyer-llama

  • 简介：中文法律LLaMA

  • 数据：法考数据7k、法律咨询数据14k

  • 训练方法：以Chinese-LLaMA-13B为底座，未经过法律语料continual training，使用通用instruction和法律instruction进行SFT。

金融领域

非中文较好的项目：BloombergGPT、PIXIU等，在此不做介绍。

FinGPT

Github: https://github.com/AI4Finance-Foundation/FinGPT

  • 简介：金融大模型

  • 数据：来自东方财富

  • 训练方法：基于ChatGLM-6B，采用Lora方法训练模型。

FinTuo

Github: https://github.com/qiyuan-chen/FinTuo-Chinese-Finance-LLM

  • 简介：一个中文金融大模型项目，旨在提供开箱即用且易于拓展的金融领域大模型工具链。

  • 数据：暂未完成。

  • 训练方法：暂未完成。

教育领域

EduChat

Github: https://github.com/icalk-nlp/EduChat

  • 简介：以预训练大模型为基底的教育对话大模型相关技术，提供教育场景下自动出题、作业批改、情感支持、课程辅导、高考咨询等丰富功能，服务于广大老师、学生和家长群体，助力实现因材施教、公平公正、富有温度的智能教育。

  • 数据：混合多个开源中英指令、对话数据，并去重后得到，约400w。

  • 训练方法：基于LLaMA模型训练而来。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.pswp.cn/news/38678.shtml
繁体地址，请注明出处：http://hk.pswp.cn/news/38678.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

C/C++ 注意点补充

C/C++ 注意点补充

C/C 注意点补充 函数缺省 函数缺省 https://blog.csdn.net/xinger_28/article/details/83898804 // 是的，C语言中的函数不支持直接定义缺省参数。在你提供的代码中，函数DelayXms没有定义缺省参数。缺省参数只在一些高级编程语言中（如C&…
阅读更多...
flutter

flutter

1.dart语言学习 dart在线编辑器 //第一段dart代码 void main() {ceshi c new ceshi(1,2);print(c.right);c.right 2;print(c.right);print(c.bottom);c.bottom 4;print(c.bottom); }class ceshi {num left, top;ceshi(this.left, this.top);num get right > left top;…
阅读更多...
视频集中存储安防监控平台EasyCVR优化AI硬件接入时的通道显示异常问题

视频集中存储安防监控平台EasyCVR优化AI硬件接入时的通道显示异常问题

安防视频监控平台视频集中存储EasyCVR可拓展性强、视频能力灵活、部署轻快，可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等，以及支持厂家私有协议与SDK接入，包括海康Ehome、海大宇等设备的SDK等。 安防监控视频云存储平台EasyCVR既具…
阅读更多...
【Python国内源】pip换源终极方法【Windows】

【Python国内源】pip换源终极方法【Windows】

1、为什么要pip换源下载 安装第三方库时，很多库来自于国外，下载速度慢得感人！ 2、常见的国内源 https://pypi.tuna.tsinghua.edu.cn/simple #清华 http://mirrors.aliyun.com/pypi/simple/ #阿里云 https://pypi.mirrors.ustc.e…
阅读更多...
go_细节注意

go_细节注意

go细节 一、使用指针接受者和不使用指针接受者1，不使用指针接受者：2，使用指针接受者3，区别与优劣势 一、使用指针接受者和不使用指针接受者 1，不使用指针接受者： func (d dog) move() {fmt.Println("…
阅读更多...
使用Logstash将数据从MySQL同步至Elasticsearch（有坑）

使用Logstash将数据从MySQL同步至Elasticsearch（有坑）

文章目录 一、准备工作1、安装elasticSearchkibana2、安装MySQL3、安装Logstash 二、全量同步1、准备MySQL数据与表2、上传mysql-connector-java.jar3、启动Logstash4、修改logstash.conf文件5、修改full_jdbc.sql文件6、打开Kibana创建索引和映射7、重启logstash进行全量同步8…
阅读更多...
TCP/IP协议追层分析物理层(第三十九课)

TCP/IP协议追层分析物理层(第三十九课)

TCP/IP协议追层分析物理层(第三十九课) 1 物理层：建立、维护、断开物理连接，定义了接口及介质，实现了比特流的传输。 1、传输介质分类 有线介质：网线（双绞线）、光纤 无线介质：无线电 微波 激光 红外线 2、双绞线分类： 五类cat5: 适用于100Mbps 超五类cat5e：适用于…
阅读更多...
Qt扫盲- Graphics View框架理论综述

Qt扫盲- Graphics View框架理论综述

Graphics View框架理论综述 一、概述二、Graphics View 体系结构1. The Scene2. The View3. 图元 Item 三、图形视图坐标系统1. 图元Item的坐标2. Scene Scene坐标3. View 视图坐标4. 坐标映射 四、关键特性1. 缩放和旋转2. 打印3. 拖放4. 鼠标指针和 提示5. 动画6. OpenGL渲染…
阅读更多...
【100天精通python】Day35：一文掌握GUI界面编程基本操作

【100天精通python】Day35：一文掌握GUI界面编程基本操作

目录 专栏导读 1 GUI 编程概述 1.1 为什么需要GUI？ 1.2 常见的GUI编程工具和库 1.3 GUI应用程序的组成和架构 2 使用Tkinter 库 进行GUI编程 2.1 使用Tkinter库进行GUI编程的基本流程 2.2 使用Tkinter库进行GUI编程 2.2.1 导入Tkinter库 2.2.2 添加标签和…
阅读更多...
绘制世界地图or中国地图

绘制世界地图or中国地图

写在前面 在8月初，自己需要使用中国地图的图形，自己就此也查询相关的教程，自己也做一下小小总结，希望对自己和同学们有所帮助。 最终图形 这个系列从2022年开始，一直更新使用R语言分析数据及绘制精美图形。小杜的生信笔记主要分享小杜学习日常！如果，你对此感兴趣可以加…
阅读更多...
Flutter Engine编译环境安装

Flutter Engine编译环境安装

前言 根据设置引擎开发环境的描述，确保有以下可用依赖项： Linux、macOS 或 Windows。 Linux 支持 Android 和 Fuchsia 的交叉编译工件，但不支持 iOS。macOS 支持 Android 和 iOS 的交叉编译工件。Windows 不支持任何 Android、Fuchsia 或 i…
阅读更多...
MySQL存储结构及索引

MySQL存储结构及索引

文章目录 MySQL结构1.2存储引擎介绍1.3存储引擎特点InnoDB逻辑存储结构 MyISAMMemory区别及特点存储引擎选择 索引索引概述索引结构BTreeHash索引分类聚集索引&二级索引索引语法SQL性能分析索引优化最左前缀法则范围查询字符串不加引号模糊查询or连接条件数据分布影响覆盖索…
阅读更多...
达梦数据库dbms_stats包的操作实践记录

达梦数据库dbms_stats包的操作实践记录

索引的统计信息收集 GATHER_INDEX_STATSindex_stats_show 根据模式名，索引名获得该索引的统计信息。用于经过 GATHER_TABLE_STATS、GATHER_INDEX_STATS 或 GATHER_SCHEMA_STATS 收集之后展示。返回两个结果集：一个是索引的统计信息；另一个是…
阅读更多...
Kotlin优点及为什么使用Kotlin

Kotlin优点及为什么使用Kotlin

文章目录 一 Hello Kotlin二 Kotlin优点三 团队为什么采用 Kotlin 一 Hello Kotlin Kotlin和Andriod 二 Kotlin优点 三 团队为什么采用 Kotlin
阅读更多...
如何从PHP 获取绝对路径、文档根目录、基本 URL

如何从PHP 获取绝对路径、文档根目录、基本 URL

根据您的服务器配置，获取正确的路径信息可能具有挑战性。例如，PHP 并没有直接提供一个变量来返回站点基本 URL。以下是一些代码片段，可以帮助您获取绝对路径、文档根目录和基本 URL。 获取绝对路径 如果您的脚本位于 /path/directory/ 目录中，您可以使用以下代码片段来获…
阅读更多...
Mendix 基础审计模块介绍

Mendix 基础审计模块介绍

一、前言 作为售前顾问，帮助客户选型低代码产品是日常工作。考察一家低代码产品的好坏，其中一个维度就是产品的成熟度。产品成熟度直接影响产品在使用中的稳定性和用户体验，对于新工具导入和可持续运用至关重要。 那怎么考察一个产品是否成…
阅读更多...
【校招VIP】java语言考点之ConcurrentHashMap1.7和1.8

【校招VIP】java语言考点之ConcurrentHashMap1.7和1.8

考点介绍： ConcurrentHashMap是JAVA校招面试的热门考点，主要集中在1.7和1.8的底层结构和相关的性能提高。 理解这个考点要从map本身的并发问题出发，再到hashTable的低性能并发安全，引申到ConcurrentHashMap的分块处理。同时要理解…
阅读更多...
JAVA工具类Collections

JAVA工具类Collections

// 【Collections】:集合的工具类 对集合进行排序 主要针对类类型 // 使用sort方法 // 1. 在需要排序的实体类中实现 Comparable接口 重写compareTo方法 // 1.动态绑定 向下转型 // 2.基本数据类型 this.id-s1.id 升序 // 3.类类型 this.n…
阅读更多...
【C++】做一个飞机空战小游戏(八)——生成敌方炮弹(rand()和srand()函数应用)

【C++】做一个飞机空战小游戏(八)——生成敌方炮弹(rand()和srand()函数应用)

[导读]本系列博文内容链接如下： 【C】做一个飞机空战小游戏(一)——使用getch()函数获得键盘码值 【C】做一个飞机空战小游戏(二)——利用getch()函数实现键盘控制单个字符移动【C】做一个飞机空战小游戏(三)——getch()函数控制任意造型飞机图标移动 【C】做一个飞…
阅读更多...
SpringBoot中的可扩展接口

SpringBoot中的可扩展接口

目录 # 背景 # 可扩展的接口启动调用顺序图 # ApplicationContextInitializer # BeanDefinitionRegistryPostProcessor # BeanFactoryPostProcessor # InstantiationAwareBeanPostProcessor # SmartInstantiationAwareBeanPostProcessor # BeanFactoryAware # Applicati…
阅读更多...
最新文章

Copyright @ 2022~2023