python打卡第45天

tensorboard的发展历史和原理

一、发展历史

起源与 TensorFlow 一同诞生 (2015年底):

TensorBoard 最初是作为 TensorFlow 开源项目(2015年11月发布)的一部分而设计和开发的。其核心目标是解决深度学习模型训练过程中的“黑盒”问题,提供直观的方式来观察模型内部状态、训练指标和计算图结构。早期核心功能: 标量可视化(损失、准确率等)、计算图可视化、简单的直方图(分布)可视化。

逐步扩展功能 (2016-2018):

Embedding Projector: 引入了强大的高维数据(如词嵌入、激活)降维和可视化工具(PCA, t-SNE),用于探索和理解嵌入空间。图像、音频、文本支持: 增加了直接查看训练/验证集中的样本图像、生成的音频样本、文本摘要的功能,方便检查输入数据和模型输出。

TensorFlow 2.x 时代与插件化 (2019至今):

紧密集成 Keras: TensorFlow 2.x 将 Keras 作为高级API,TensorBoard 也深度集成了 Keras 的回调机制 (tf.keras.callbacks.TensorBoard),使用户能更便捷地记录数据。模型图可视化改进: 更好地支持 tf.function 和 Eager Execution 模式下的模型结构可视化。Profile 工具: 集成了强大的性能分析器,可以分析模型在 CPU/GPU/TPU 上的执行时间、内存消耗、算子耗时等,用于性能瓶颈定位和优化。

二、核心原理

TensorBoard 的工作原理可以概括为 “写日志” -> “读日志” -> “可视化” 三个步骤:

数据记录 (Write Logs):

在模型训练/评估代码中,使用 Summary API 在关键点记录需要可视化的数据。

TensorFlow: tf.summary.scalar(), tf.summary.image(), tf.summary.histogram(), tf.summary.text(), tf.summary.audio(), tf.summary.graph() 等。

PyTorch: torch.utils.tensorboard.SummaryWriter.add_scalar(), add_image(), add_histogram() 等。

其他框架: 使用相应的适配器库。

这些 API 调用并不会立即进行昂贵的渲染操作,而是将数据序列化为 tf.Event 协议缓冲区 (Protocol Buffer) 格式。

这些 tf.Event 记录被顺序追加写入到磁盘上的 事件文件 中,通常命名为 events.out.tfevents.*。

写入器 (SummaryWriter) 负责管理这些事件文件(如轮转、刷新)。

数据加载与聚合 (Read and Aggregate Logs):

用户通过命令行 (tensorboard --logdir=path/to/logs) 或 Notebook 内联方式启动 TensorBoard 服务器。

TensorBoard 后端服务 (Python) 监控指定的日志目录 (--logdir)。

后端使用高效的 tensorboard.data.server 组件:

扫描目录: 递归扫描 --logdir 下的所有子目录,寻找事件文件 (*.tfevents.*)。

解析事件文件: 读取并解析这些二进制事件文件,从中提取出存储的 tf.Event 记录。

聚合数据: 将解析出的原始数据(标量值、图像字节、直方图桶计数、图结构等)根据其类型和标签(Tag)进行聚合和组织,存储在内存或缓存中,构建出可供前端查询的数据结构。

处理运行 (Runs): 通常将日志目录下的每个子目录视为一个独立的“运行”(Run,代表一次实验或训练过程),便于比较不同实验的结果。

可视化展示 (Visualize):

TensorBoard 启动一个 Web 服务器 (默认端口 6006)。

用户在浏览器中访问 http://localhost:6006 (或指定的地址)。

浏览器加载 TensorBoard 的前端应用 (基于 JavaScript, HTML, CSS)。

前端通过 HTTP API 向后端发送查询请求(例如:获取某个 Run 下某个 Tag 的所有标量数据点;获取最新一批图像;获取模型图结构等)。

后端接收到请求后,从它聚合好的数据结构中检索出相应的数据,并通过 JSON 或其他格式返回给前端。

前端使用 可视化库(如 D3.js 用于图表绘制, Three.js 用于 Embedding Projector 的 3D 渲染)将接收到的数据渲染成交互式的图表和视图(Scalars 折线图、Images 网格、Distributions 直方图动画、Graphs 节点连接图、Embeddings 3D点云等)。

用户可以在前端界面交互(如缩放图表、切换 Runs/Tags、调整 Embedding Projector 的参数、在计算图中点击节点查看详情等),这些交互会触发新的 API 请求,实现动态更新视图。

import os
from torch.utils.tensorboard import SummaryWriterbase_dir = 'runs/cifar10_mlp_experiment'
log_dir = base_dir# 查找可用目录名
counter = 1
while os.path.exists(log_dir):log_dir = f"{base_dir}_{counter}"counter += 1# 创建SummaryWriter
writer = SummaryWriter(log_dir)
# 记录每个 Batch 的损失和准确率
writer.add_scalar('Train/Batch_Loss', batch_loss, global_step)
writer.add_scalar('Train/Batch_Accuracy', batch_acc, global_step)# 记录每个 Epoch 的训练指标
writer.add_scalar('Train/Epoch_Loss', epoch_train_loss, epoch)
writer.add_scalar('Train/Epoch_Accuracy', epoch_train_acc, epoch)dataiter = iter(train_loader)
images, labels = next(dataiter)
images = images.to(device)
writer.add_graph(model, images)  # 通过真实输入样本生成模型计算图# 可视化原始训练图像
img_grid = torchvision.utils.make_grid(images[:8].cpu()) # 将多张图像拼接成网格状(方便可视化),将前8张图像拼接成一个网格
writer.add_image('原始训练图像', img_grid)# 可视化错误预测样本(训练结束后)
wrong_img_grid = torchvision.utils.make_grid(wrong_images[:display_count])
writer.add_image('错误预测样本', wrong_img_grid)if (batch_idx + 1) % 500 == 0:for name, param in model.named_parameters():writer.add_histogram(f'weights/{name}', param, global_step)  # 权重分布if param.grad is not None:writer.add_histogram(f'grads/{name}', param.grad, global_step)  # 梯度分布

@浙大疏锦行

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/web/82851.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CentOS 7如何编译安装升级gcc至7.5版本?

CentOS 7如何编译安装升级gcc版本? 由于配置CentOS-SCLo-scl.repo与CentOS-SCLo-scl-rh.repo后执行yum install -y devtoolset-7安装总是异常,遂决定编译安装gcc7.5 # 备份之前的yum .repo文件至 /tmp/repo_bak 目录 mkdir -p /tmp/repo_bak && cd /etc…

中山大学美团港科大提出首个音频驱动多人对话视频生成MultiTalk,输入一个音频和提示,即可生成对应唇部、音频交互视频。

由中山大学、美团、香港科技大学联合提出的MultiTalk是一个用于音频驱动的多人对话视频生成的新框架。给定一个多流音频输入和一个提示,MultiTalk 会生成一个包含提示所对应的交互的视频,其唇部动作与音频保持一致。 相关链接 论文:https://a…

iOS 门店营收表格功能的实现

iOS 门店营收表格功能实现方案 核心功能需求 数据展示:表格形式展示门店/日期维度的营收数据排序功能:支持按营收金额、增长率等排序筛选功能:按日期范围/门店/区域筛选交互操作:点击查看详情、数据刷新数据可视化:关…

怎么解决cesium加载模型太黑,程序崩溃,不显示,位置不对模型太大,Cesium加载gltf/glb模型后变暗

有时候咱们cesium加载模型时候型太黑,程序崩溃,不显示,位置不对模型太大怎么办 需要处理 可以联系Q:424081801 谢谢 需要处理 可以联系Q:424081801 谢谢

移植driver_monitoring_system里的MobileNet到RK3588

根据下面的内容写一篇技术博客,要求增加更多的解释,让普通读者也能了解为什么这样做,具体怎么做 移植driver_monitoring_system里的MobileNet到RK3588 一、背景二、操作步骤2.1 下载源码2.2 Tensorflow转成ONNX2.2.1 在x86上创建容器,安装依赖2.2.2 保存为saved-model2.2.3 sav…

低代码平台前端页面表格字段绑定与后端数据传输交互主要有哪些方式?华为云Astro在这方面有哪些方式?

目录 🔧 一、低代码平台中常见的数据绑定与交互方式 1. 接口绑定(API 调用) 2. 数据源绑定(DataSource) 3. 变量中转(临时变量 / 页面状态) 4. 数据模型绑定(模型驱动) 🌐 二、华为云 Astro 轻应用的实现方式 ✅ 1. 数据源绑定(API服务+API网关) ✅ 2. 变…

《doubao-lite-32k 模型缓存机制使用指南》

doubao-lite-32k 模型缓存机制使用指南 一、缓存概述 1. 缓存作用 doubao-lite-32k 模型的缓存(Session 缓存)主要用于多轮对话场景,实现以下功能: 存储历史对话信息(Token),避免重复传输上下文,减少计算资源消耗。 优化长上下文(最长 32K Token)处理效率,提升多…

量子计算突破:新型超导芯片重构计算范式

​​2024年IBM 1281量子比特超导芯片实现0.001%量子错误率,计算速度达经典超算2.5亿倍​​。本文解析: ​​物理突破​​:钽基超导材料使量子相干时间突破​​800μs​​(提升15倍)​​架构革命​​:十字形…

云计算 Linux Rocky day03(which、快捷键、mount、家目录、ls、alias、mkdir、rm、mv、cp、grep)

云计算 Linux Rocky day03(which、快捷键、mount、家目录、ls、alias、mkdir、rm、mv、cp、grep) 目录 云计算 Linux Rocky day03(which、快捷键、mount、家目录、ls、alias、mkdir、rm、mv、cp、grep)1.which找到命令所对应的程序…

负载均衡LB》》HAproxy

Ubuntu 22.04 安装HA-proxy 官网 资料 # 更新系统包列表: sudo apt update # 安装 HAproxy sudo apt install haproxy -y # 验证安装 haproxy -v # 如下图配置 Haproxy ##### 基于IP的访问控制 acl ctrl_ip src 172.25.254.1 172.25.254.20 192.168.0.0/24 #…

轻创业技术方案:基于格行双目摄像头的代理系统设计!低成本创业项目有哪些?2025轻资产创业项目排行榜前十名!0成本创业项目推荐!格行代理项目靠谱吗?

没本金,没资源,没人脉,想挣钱且有持续稳定的现金流,只有一条路就是轻创业!这里说个表哥的真实创业故事。 我表哥90后,普通农村人,中专毕业跟朋友一起外出打工,刚开始也是吃喝玩乐不…

【推荐算法】Embedding+MLP:TensorFlow实现经典深度学习推荐模型详解

EmbeddingMLP:TensorFlow实现经典深度学习模型详解 1. 算法逻辑模型结构和工作流程关键组件 2. 算法原理与数学推导Embedding层原理MLP前向传播反向传播与优化 3. 模型评估常用评估指标评估方法 4. 应用案例:推荐系统CTR预测问题描述模型架构性能优化 5.…

黑马点评【基于redis实现共享session登录】

目录 一、基于Session实现登录流程 1.发送验证码: 2.短信验证码登录、注册: 3.校验登录状态: 4.session共享问题 4.1为什么会出现 Session 集群共享问题? 4.2常见解决方案 1. 基于 Cookie 的 Session(客户端存储&#xff0…

Python读取阿里法拍网的html+解决登录cookie

效果图 import time from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager from lxml import etreedef get_taobao_auct…

【win | docker开启远程配置】使用 SSH 隧道访问 Docker的前操作

在主机A pycharm如何连接远程主机B win docker? 需要win docker配置什么? 快捷配置-主机B win OpenSSH SSH Server https://blog.csdn.net/z164470/article/details/121683333 winR,打开命令行,输入net start sshd,启动SSH。 或者右击我的电脑&#…

Cursor生成Java的架构设计图

文章目录 整体说明一、背景二、前置条件三、生成 Promt四、结果查看五、结果编辑 摘要: Cursor生成Java的架构设计图 关键词: Cursor、人工智能 、开发工具、Java 架构设计图 整体说明 Cursor 作为现在非常好用的开发工具,非常的火爆&#…

1Panel运行的.net程序无法读取系统字体(因为使用了docker)

问题来源 我之前都是使用的宝塔面板,之前我也部署过我的程序,就没有什么问题,但是上次我部署我的程序的时候,就提示无法找到字体Arial。 我的程序中使用该字体生成验证码。 我多次安装了微软的字体包,但是依旧没有效…

面试总结。

一、回流(重排)与重绘(Repaint) 优化回答: 概念区分: 回流(Reflow/Relayout):当元素的几何属性(如宽高、位置、隐藏 / 显示)发生改变时&#xff…

TensorFlow深度学习实战(20)——自组织映射详解

TensorFlow深度学习实战(20)——自组织映射详解 0. 前言1. 自组织映射原理2. 自组织映射的优缺点3. 使用自组织映射实现颜色映射小结系列链接 0. 前言 自组织映射 (Self-Organizing Map, SOM) 是一种无监督学习算法,主要用于高维数据的降维、…

Go内存泄漏排查与修复最佳实践

一、引言 即使Go语言拥有强大的垃圾回收机制,内存泄漏仍然是我们在生产环境中经常面临的挑战。与传统印象不同,垃圾回收并不是万能的"记忆清道夫",它只能处理那些不再被引用的内存,而无法识别那些仍被引用但实际上不再…