[神经网络]使用olivettiface数据集进行训练并优化，观察对比loss结果

结合归一化和正则化来优化网络模型结构，观察对比loss结果

搭建的神经网络，使用olivettiface数据集进行训练，结合归一化和正则化来优化网络模型结构，观察对比loss结果

from sklearn.datasets import fetch_olivetti_faces #倒入数据集

olivetti_faces = fetch_olivetti_faces(data_home='./face_data', shuffle=True)
print(olivetti_faces.data.shape) #打印数据集的形状
print(olivetti_faces.target.shape) #打印目标的形状
print(olivetti_faces.images.shape) #打印图像的形状

(400, 4096)
(400,)
(400, 64, 64)

import matplotlib.pyplot as pltface = olivetti_faces.images[1] #选择第二张人脸图像
plt.imshow(face, cmap='gray') #显示图像 cmap='gray'表示灰度图
plt.show()

在这里插入图片描述

olivetti_faces.data[1] #选择第二张人脸图像的扁平化数据

array([0.76859504, 0.75619835, 0.74380165, ..., 0.48347107, 0.6280992 ,0.6528926 ], shape=(4096,), dtype=float32)

import torch
import torch.nn as nn

images = torch.tensor(olivetti_faces.data) #将数据转换为tensor
targets = torch.tensor(olivetti_faces.target) #将目标转换为tensor 

images.shape #打印图像的形状

torch.Size([400, 4096])

targets.shape #打印目标的形状

torch.Size([400])

dataset = [(img,lbl) for img,lbl in zip(images, targets)] #将图像和标签组合成一个数据集
dataset[0] #打印数据集的第一个元素

(tensor([0.6694, 0.6364, 0.6488,  ..., 0.0868, 0.0826, 0.0744]), tensor(13))

dataloader = torch.utils.data.DataLoader(dataset, batch_size=10, shuffle=True) #创建数据加载器，批量大小为10，打乱数据

# device = torch.device('mps' if torch.backends.mps.is_available() else 'cpu')
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')device

device(type='cpu')

使用Dropout正则化优化

# 多层神经网络模型
model = nn.Sequential(nn.Linear(4096, 8192), # 输入层，输入特征数为4096nn.ReLU(), # ReLU激活函数nn.Dropout(), # Dropout正则化nn.Linear(8192, 16384), # 隐藏层，输出特征数为16384nn.ReLU(),nn.Dropout(),nn.Linear(16384, 1024), # 隐藏层，输出特征数为1024nn.ReLU(),nn.Dropout(),nn.Linear(1024, 40) # 输出层，输出特征数为40（对应40个类别）
).to(device)  # 模型结构搬到GPU内存中

print(model) # 打印模型结构

Sequential((0): Linear(in_features=4096, out_features=8192, bias=True)(1): ReLU()(2): Dropout(p=0.5, inplace=False)(3): Linear(in_features=8192, out_features=16384, bias=True)(4): ReLU()(5): Dropout(p=0.5, inplace=False)(6): Linear(in_features=16384, out_features=1024, bias=True)(7): ReLU()(8): Dropout(p=0.5, inplace=False)(9): Linear(in_features=1024, out_features=40, bias=True)
)

criterion = nn.CrossEntropyLoss() # 损失函数为交叉熵损失
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) # 优化器为Adam，学习率为1e-3

# 训练模型
loss_hist = [] # 用于记录损失值
# 将模型设置为训练模式
model.train()
for i in range(20): # 训练20个epochfor img,lbl in dataloader:img,lbl = img.to(device), lbl.to(device)  # 数据和模型在同一个设备端result = model(img)loss = criterion(result, lbl)loss.backward()optimizer.step()optimizer.zero_grad()loss_hist.append(loss.item()) # 记录损失值print(f'epoch:{i+1} loss:{loss.item():.4f}') # 打印当前epoch和损失值

epoch:1 loss:3.7076
epoch:1 loss:12.3654
epoch:1 loss:13.7588
epoch:1 loss:6.2780
epoch:1 loss:4.3650
epoch:1 loss:3.9659
epoch:1 loss:3.9149
epoch:1 loss:3.8406
epoch:1 loss:3.8485
epoch:1 loss:3.8279
epoch:1 loss:3.8980
epoch:1 loss:3.8377
epoch:1 loss:3.7295
epoch:1 loss:3.7737
epoch:1 loss:3.7615
epoch:1 loss:3.7997
epoch:1 loss:3.7737
epoch:1 loss:3.7385
epoch:1 loss:3.7080
epoch:1 loss:3.6875
epoch:1 loss:3.7611
epoch:1 loss:3.6810
epoch:1 loss:3.5438
epoch:1 loss:3.7640
epoch:1 loss:3.9102
epoch:1 loss:4.2676
epoch:1 loss:3.8784
epoch:1 loss:3.8589
epoch:1 loss:3.6792
。。。。。。
epoch:20 loss:3.6929
epoch:20 loss:3.6839
epoch:20 loss:3.6866
epoch:20 loss:3.6917
epoch:20 loss:3.6881
epoch:20 loss:3.6903
epoch:20 loss:3.6893
epoch:20 loss:3.6838
epoch:20 loss:3.6909
epoch:20 loss:3.6903
epoch:20 loss:3.6869
epoch:20 loss:3.6871
epoch:20 loss:3.6939
epoch:20 loss:3.6909
epoch:20 loss:3.6971
epoch:20 loss:3.6935
epoch:20 loss:3.6875
epoch:20 loss:3.6901
epoch:20 loss:3.6864
epoch:20 loss:3.6891
epoch:20 loss:3.6912
epoch:20 loss:3.6913
epoch:20 loss:3.6845
epoch:20 loss:3.6889
epoch:20 loss:3.6898
epoch:20 loss:3.6811
epoch:20 loss:3.6926
epoch:20 loss:3.6888
epoch:20 loss:3.6993
epoch:20 loss:3.6898
epoch:20 loss:3.6947
epoch:20 loss:3.6931
epoch:20 loss:3.6951
epoch:20 loss:3.6901
epoch:20 loss:3.6877
epoch:20 loss:3.6880
epoch:20 loss:3.6926
epoch:20 loss:3.6864
epoch:20 loss:3.6910
epoch:20 loss:3.6951

plt.plot(range(len(loss_hist)), loss_hist) # 绘制损失值曲线
plt.show()

在这里插入图片描述

使用BatchNorm1d归一化优化

# 多层神经网络模型
model2 = nn.Sequential(nn.Linear(4096, 8192),nn.BatchNorm1d(8192),nn.ReLU(),nn.Dropout(),nn.Linear(8192, 16384),nn.BatchNorm1d(16384), # 批归一化nn.ReLU(),nn.Dropout(),nn.Linear(16384, 1024),nn.BatchNorm1d(1024),nn.ReLU(),nn.Dropout(),nn.Linear(1024, 40)
).to(device)  # 模型结构搬到GPU内存中

print(model2)

Sequential((0): Linear(in_features=4096, out_features=8192, bias=True)(1): BatchNorm1d(8192, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(2): ReLU()(3): Dropout(p=0.5, inplace=False)(4): Linear(in_features=8192, out_features=16384, bias=True)(5): BatchNorm1d(16384, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(6): ReLU()(7): Dropout(p=0.5, inplace=False)(8): Linear(in_features=16384, out_features=1024, bias=True)(9): BatchNorm1d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(10): ReLU()(11): Dropout(p=0.5, inplace=False)(12): Linear(in_features=1024, out_features=40, bias=True)
)

criterion2 = nn.CrossEntropyLoss() # 损失函数为交叉熵损失
optimizer2 = torch.optim.Adam(model2.parameters(), lr=1e-3) # 优化器为Adam，学习率为1e-3

loss_hist2 = []
model2.train()
for i in range(20):for img,lbl in dataloader:img,lbl = img.to(device), lbl.to(device)  # 数据和模型在同一个设备端result = model2(img)loss = criterion2(result, lbl)loss.backward()optimizer2.step()optimizer2.zero_grad()loss_hist2.append(loss.item())print(f'epoch:{i+1} loss:{loss.item():.4f}')

epoch:1 loss:3.5798
epoch:1 loss:3.2452
epoch:1 loss:3.5353
epoch:1 loss:4.1675
epoch:1 loss:4.0728
epoch:1 loss:3.4937
epoch:1 loss:3.9814
epoch:1 loss:3.6151
epoch:1 loss:3.5217
epoch:1 loss:3.1017
epoch:1 loss:3.4522
epoch:1 loss:4.8181
epoch:1 loss:4.0231
epoch:1 loss:4.3008
epoch:1 loss:3.3741
epoch:1 loss:3.9258
epoch:1 loss:3.6895
epoch:1 loss:4.0020
epoch:1 loss:3.1241
epoch:1 loss:2.9453
epoch:1 loss:3.3162
epoch:1 loss:4.3189
epoch:1 loss:3.4162
epoch:1 loss:4.3958
epoch:1 loss:3.1572
epoch:1 loss:3.2535
epoch:1 loss:3.4887
epoch:1 loss:3.4771
epoch:1 loss:3.5689
epoch:1 loss:2.5994
epoch:1 loss:2.7629
epoch:1 loss:2.9798
epoch:1 loss:2.7517
epoch:1 loss:2.7871
epoch:1 loss:2.6800
epoch:1 loss:2.9784
epoch:1 loss:3.4050
epoch:1 loss:2.6510
epoch:1 loss:3.5258
epoch:1 loss:4.0064
epoch:2 loss:2.8011
epoch:2 loss:2.5357
epoch:2 loss:2.6513
epoch:2 loss:2.5815
epoch:2 loss:2.0862
epoch:2 loss:2.9170
epoch:2 loss:2.5202。。。。。。
epoch:20 loss:0.0768
epoch:20 loss:0.0592
epoch:20 loss:0.4393
epoch:20 loss:0.2460
epoch:20 loss:0.1196
epoch:20 loss:0.0596
epoch:20 loss:0.0088
epoch:20 loss:0.1478
epoch:20 loss:0.0671
epoch:20 loss:0.1121
epoch:20 loss:0.1161
epoch:20 loss:0.0191
epoch:20 loss:0.1365
epoch:20 loss:0.0635
epoch:20 loss:0.0404
epoch:20 loss:0.0673
epoch:20 loss:0.0122
epoch:20 loss:0.6775
epoch:20 loss:0.0122
epoch:20 loss:0.0137
epoch:20 loss:0.0415
epoch:20 loss:0.1397
epoch:20 loss:0.0244
epoch:20 loss:0.2535
epoch:20 loss:0.3182
epoch:20 loss:0.2677
epoch:20 loss:0.0028
epoch:20 loss:0.0185
epoch:20 loss:0.1291
epoch:20 loss:0.0514
epoch:20 loss:0.0539
epoch:20 loss:0.0254
epoch:20 loss:0.0723
epoch:20 loss:0.4357
epoch:20 loss:0.1185
epoch:20 loss:0.0806
epoch:20 loss:0.7051
epoch:20 loss:0.0060
epoch:20 loss:0.0527
epoch:20 loss:0.0121

plt.plot(range(len(loss_hist2)), loss_hist2)
plt.show()

在这里插入图片描述

本实验主要内容和结论总结如下：

  1. 数据集
    使用了sklearn.datasets中的Olivetti人脸数据集，包含400张人脸图片，每张图片为64x64像素，分为40类。

  2. 数据处理

    • 图像数据被扁平化为4096维向量。
    • 使用PyTorch的DataLoader进行批量加载。

  3. 模型设计与优化

    • 基础模型：多层全连接神经网络，使用ReLU激活和Dropout正则化。
    • 优化模型：在基础模型的每一层后增加了BatchNorm1d批归一化层，进一步提升训练稳定性和收敛速度。

  4. 训练过程

    • 均采用交叉熵损失函数和Adam优化器，训练20个epoch。
    • 记录并可视化loss变化曲线。

结果对比与观察

  • Dropout正则化：有效缓解过拟合，loss曲线整体下降，但可能波动较大。
  • BatchNorm归一化+Dropout：loss下降更快更平滑，模型收敛速度提升，训练更稳定。

结论

  • 结合归一化（BatchNorm）和正则化（Dropout）可以显著提升神经网络的训练效果和泛化能力。
  • 归一化有助于加速收敛，正则化有助于防止过拟合，两者结合效果更佳。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.pswp.cn/pingmian/82639.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

算法分析·回溯法

算法分析·回溯法

回溯法 方法概述算法框架问题实例TSP 问题n皇后问题 回溯法效率分析 方法概述 回溯法是一个既带有系统性又带有跳跃性的搜索算法； **系统性：**它在包含问题的所有解的解空间树中，按照深度优先的策略，从根结点出发搜索解空间树。…
阅读更多...
Golang分布式系统开发实践指南

Golang分布式系统开发实践指南

Golang分布式系统开发实践指南 一、为什么选择Golang？ ​原生并发模型​ Goroutine和Channel机制天然适合分布式系统的并发需求​高性能编译​ 静态编译生成二进制文件，部署简单，内存占用低​丰富生态​ Go Module管理、标准库支持HTTP/2、…
阅读更多...
基于stm32风速风向温湿度和瓦斯检测（仿真+代码）

基于stm32风速风向温湿度和瓦斯检测（仿真+代码）

资料下载地址：基于stm32风速风向温湿度和瓦斯检测 一、项目功能 1.风速，风向，温湿度，瓦斯，报警。 2.可以设置温湿度，瓦斯，风速报警阈值。 3.数据上传到云平台。 二、仿真图 三、程序 #inc…
阅读更多...
桃黑黑反斗战

桃黑黑反斗战

1.编写求解Hanoi汉诺塔的递归算法代码&#xff0c;输出移动过程&#xff0c;并统计总移动次数。 对不同规模的汉诺塔&#xff0c;给出测试的结果 #include <stdio.h> #include <time.h> int moveCount 0; void hanoi(int n,char source,char auxiliary,char targ…
阅读更多...
react-native的token认证流程

react-native的token认证流程

在 React Native 中实现 Token 认证是移动应用开发中的常见需求&#xff0c;它用于验证用户的身份并授权其访问受保护的 API 资源。 Token 认证的核心流程&#xff1a; 用户登录 (Login): 用户在前端输入用户名和密码。前端将这些凭据发送到后端 API。后端验证凭据。如果验证成…
阅读更多...
Dify：详解 docker-compose.yaml配置文件

Dify：详解 docker-compose.yaml配置文件

详解 docker-compose.yaml 配置文件 docker-compose.yaml 是用于定义和运行多容器 Docker 应用的配置文件。下面&#xff0c;我们将详细解释您提供的 docker-compose.yaml 文件&#xff0c;包括各个服务的作用、配置&#xff0c;以及它们与 .env 文件之间的关系。 文件概览 自…
阅读更多...
Python基于Django的主观题自动阅卷系统【附源码、文档说明】

Python基于Django的主观题自动阅卷系统【附源码、文档说明】

博主介绍&#xff1a;✌Java老徐、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;&…
阅读更多...
今日行情明日机会——20250528

今日行情明日机会——20250528

上证指数缩量收小阴线&#xff0c;个股跌多涨少&#xff0c;总体情绪偏差&#xff0c;注意风险为主。 深证指数&#xff0c;缩量收小阴线&#xff0c;连续5天阴线&#xff0c;明后天反弹的概率增大&#xff0c;但仍要注意风险。 2025年5月28日涨停股主要行业方向分析 1. 无人…
阅读更多...
基于stm32LORA无线抄表系统仿真

基于stm32LORA无线抄表系统仿真

资料下载地址&#xff1a;基于stm32LORA无线抄表系统仿真 1、项目介绍 基于LoRa的无线通信的电力抄表系统&#xff0c;采集节点数据&#xff0c;通过LoRa无线通信进行数据传输&#xff0c;最后再网关节点上显示。 2、仿真图 3、仿真代码 #include "oled.h" #incl…
阅读更多...
不同电脑同一个网络ip地址一样吗

不同电脑同一个网络ip地址一样吗

不同电脑在连接同一个WiFi时&#xff0c;它们的IP地址会相同吗&#xff1f;相信不少朋友都对这个问题感到好奇&#xff0c;今天我们就来详细探讨一下。 一、基础概念&#xff1a;IP地址的本质与分类 IP地址是分配给网络设备的唯一标识符&#xff0c;用于在互联网或局域网中定位…
阅读更多...
CentOS 7 下 Redis 从 5.0 升级至 7.4.3 全流程实践

CentOS 7 下 Redis 从 5.0 升级至 7.4.3 全流程实践

目录 前言1 查看 Redis 运行情况与配置1.1 查看 Redis 是否正在运行1.2 连接 Redis 服务并获取配置信息1.3 查找 redis.conf 配置文件位置 2 关闭旧版本 Redis 实例2.1 使用客户端命令关闭 Redis2.2 验证 Redis 是否完全关闭 3 升级 GCC 编译环境3.1 检查当前 GCC 版本3.2 安装…
阅读更多...
SQLord: 基于反向数据生成和任务拆解的 Text-to-SQL 企业落地方案

SQLord: 基于反向数据生成和任务拆解的 Text-to-SQL 企业落地方案

曾在Text-to-SQL方向做过深入的研究&#xff0c;以此为基础研发的DataAgent在B2B平台成功落地&#xff0c;因此作为第一作者&#xff0c;在 The Web Conference (WWW’2025, CCF-A) 会议上发表了相关论文&#xff1a; SQLord: A Robust Enterprise Text-to-SQL Solution via R…
阅读更多...
内网搭建NTS服务器

内网搭建NTS服务器

内网搭建NTS服务器 关键字 : ntp nts ipv6 NTS 是 Network Time Security&#xff08;网络时间安全&#xff09;的缩写,是 NTP 的一种安全扩展机制。它利用传输层安全&#xff08;TLS&#xff09;和相关数据的认证加密&#xff08;AEAD&#xff09;&#xff0c;为 NTP 的客户…
阅读更多...
AD9268、AD9643调试过程中遇到的问题

AD9268、AD9643调试过程中遇到的问题

Ad9268芯片 AD9268是一款双通道、16位、80 MSPS/105 MSPS/125 MSPS模数转换器(ADC)。AD9268旨在支持要求高性能、低成本、小尺寸和多功能的通信应用。双通道ADC内核采用多级差分流水线架构&#xff0c;集成输出纠错逻辑。每个ADC都具有宽带宽、差分采样保持模拟输入放大器&…
阅读更多...
用豆包写单元测试

用豆包写单元测试

用豆包写单元测试&#xff0c; 输入 vue 模板内容&#xff0c;输入 参考vue模板内容写一个单元测试要求用jest.mock实现构造完成&#xff0c;修复bug。npm run test:unit – tests/unit/views/xxx/xxx.spec.js看下 % Stmts 语句覆盖率&#xff1a;执行到的代码语句占总语句的比…
阅读更多...
css样式块重复调用

css样式块重复调用

通译灵码解释。还给了一些示例&#xff0c;包含传参等内容 scss和sass的区别。scss与sass是两种样式编写风格&#xff0c;scss是大括号加;号形式。而sass是缩进的格式使用scss为什么要要安装sass呢。sass是一门css预处理器语言。所以要安装。
阅读更多...
【深度学习新浪潮】以图搜地点是如何实现的？（含大模型方案）

【深度学习新浪潮】以图搜地点是如何实现的？（含大模型方案）

1. 以图搜地点的实现方式有哪些？ 扫描手机照片中的截图并识别出位置信息，主要有以下几种实现方式： 通过照片元数据获取： 原理：现代智能手机拍摄的照片通常会包含Exif（Exchangeable Image File）元数据。Exif中除了有像素信息之外，还包含了光圈、快门、白平衡、ISO、焦距…
阅读更多...
DeepSeek R1 与 V3 的全面对比，两个版本有什么差别？

DeepSeek R1 与 V3 的全面对比，两个版本有什么差别？

DeepSeek R1与DeepSeek V3是深度求索&#xff08;DeepSeek&#xff09;公司推出的两款定位不同的大语言模型&#xff0c;界面上用户可选择基础模型(V3)、深度思考(R1)、联网搜索。 基础模型(V3)是DeepSeek的标配,没有勾选默认就是基础模型。为了让用户更清晰地了解两款模型的差…
阅读更多...
Spring Boot 深度集成 Ollama 指南：从聊天模型配置到生产级应用开发

Spring Boot 深度集成 Ollama 指南：从聊天模型配置到生产级应用开发

Spring Boot 深度集成 Ollama 指南&#xff1a;从聊天模型配置到生产级应用开发 前言 在人工智能应用开发中&#xff0c;大语言模型&#xff08;LLM&#xff09;的本地化部署需求日益增长。Ollama 作为开源的本地LLM运行平台&#xff0c;支持Mistral、LLaMA等主流模型&#x…
阅读更多...
查询oracle进程数和会话数进行优化

查询oracle进程数和会话数进行优化

查看当前参数配置 首先需要查询当前的 processes 和 sessions 参数值&#xff0c;以确定是否需要调整。 SQL SHOW PARAMETER processes; SHOW PARAMETER sessions; 这些命令可以显示当前实例中允许的最大进程数和会话数 查询当前连接数&#xff0c;查询并发会话 SELECT COUNT…
阅读更多...
最新文章

Copyright @ 2022~2023