MIT 6.S081 2020Lab5 lazy page allocation 个人全流程

文章目录

    • 零、写在前面
    • 一、Eliminate allocation from sbrk()
      • 1.1 说明
      • 1.2 实现
    • 二、Lazy allocation
      • 2.1 说明
      • 2.2 实现
    • 三、Lazytests and Usertests
      • 3.1 说明
      • 3.2 实现
        • 3.2.1 lazytests
        • 3.2.2 usertests


零、写在前面

可以阅读下4.6页面错误异常

像应用程序申请内存,内核分配和映射这些内存其实是很耗费时间的。比如,一个 GB 的内存包含 262,144 个 4096 字节的页;即便每次分配的开销很小,这么多次操作累积起来仍然非常耗时。

此外,一些程序会分配比实际使用更多的内存(例如,为了实现稀疏数组),或者会提前分配内存但迟迟不使用。为加快 sbrk() 的执行速度,现代内核采用了一种称为懒惰分配的技术:sbrk() 不再立即分配物理内存,而是仅记录下哪些用户地址被分配了,并在用户页表中将这些地址标记为无效

当进程首次尝试访问这些**“懒惰分配”**的页面时,CPU 会触发一次缺页异常(page fault)。内核在处理该异常时,会分配一页物理内存、将其清零,并将其映射到进程的地址空间中。

总的来说,懒惰分配是一种常见的降低均摊成本的操作

在本实验中,你将为 xv6 添加这个懒惰分配的功能。

记得先切换分支到lazy

一、Eliminate allocation from sbrk()

1.1 说明

你的第一个任务是sbrk(n) 系统调用的实现中删除物理页面分配。该系统调用对应的函数是 sysproc.c 文件中的 sys_sbrk()

sbrk(n) 系统调用的作用是将当前进程的内存大小增加 n 字节,并返回新分配区域的起始地址(即原来的内存大小)。你需要修改 sbrk(n) 的实现,使其仅仅将进程的大小(myproc()->sz)增加 n 字节并返回旧的大小

注意:不应该在这里分配物理内存,因此需要删除对 growproc() 的调用。但你仍然需要更新进程的大小字段。

试着猜一猜:这个修改会导致什么问题?会有什么地方出错?

进行上述修改后,启动 xv6,并在 shell 中输入 echo hi。你应该会看到类似下面的输出:

init: starting sh
$ echo hi
usertrap(): unexpected scause 0x000000000000000f pid=3sepc=0x0000000000001258 stval=0x0000000000004008
va=0x0000000000004000 pte=0x0000000000000000
panic: uvmunmap: not mapped

其中,usertrap(): ... 是来自 trap.c 中用户异常处理函数(user trap handler)的信息;它捕获到了一个它不知道如何处理的异常。你需要弄清楚为什么会发生这个缺页异常(page fault)

信息中的 stval=0x0000000000004008 表示导致缺页异常的虚拟地址是 0x4008

1.2 实现

我们先来看看初始的sys_sbrk

uint64 sys_sbrk(void) {int addr;int n;if(argint(0, &n) < 0)return -1;addr = myproc()->sz;if(growproc(n) < 0)return -1;return addr;
}
  • 从寄存器a0拿出n
  • growproc(n) 来分配n byte 的物理内存
  • 返回addr

修改后:

  • 删除分配物理内存的逻辑
  • 如果n 大于0,我们增加sz
  • 否则,我们dealloc 掉n个字节
uint64 sys_sbrk(void) {int addr;int n;if(argint(0, &n) < 0)return -1;struct proc* p = myproc();addr = p->sz;//  if(growproc(n) < 0)//    return -1;// allocif (n > 0){(p->sz) += n;} else {// shrinkuint sz = p->sz;p->sz = uvmdealloc(p->pagetable, sz, sz + n);}return addr;
}

我们启动xv6来测试下:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

和预期一致,我们接着做后面的作业。

二、Lazy allocation

2.1 说明

修改 trap.c 中的代码,使其能在用户空间发生缺页异常时,为发生异常的地址映射一页新分配的物理内存,然后返回用户空间,让进程继续执行。你应当在打印 "usertrap(): ..." 的那条 printf 语句之前加入你的处理代码。此外,你还需要根据需要修改 xv6 内核中的其他代码,使 echo hi 能够正常运行。

官网的一些提示:

  • 你可以在 usertrap() 中通过检查 r_scause() 是否为 1315 来判断是否是页面异常(page fault):
    • 13 表示加载时的页面异常(load page fault)
    • 15 表示存储时的页面异常(store page fault)
  • r_stval() 返回 RISC-V 的 stval 寄存器的值,它表示触发异常的虚拟地址
  • 你可以参考 vm.c 中的 uvmalloc() 函数的代码,这是 sbrk() 通过 growproc() 最终调用的函数。你会用到以下两个函数:
    • kalloc():用于分配一页物理内存。
    • mappages():用于将虚拟地址映射到物理页。
  • 使用 PGROUNDDOWN(va) 宏将发生异常的虚拟地址向下对齐到页边界。
  • uvmunmap() 默认会触发 panic;你需要修改它的行为,使其在取消映射时不会因为某些页未映射就 panic
  • 如果内核崩溃了,你可以查找 kernel/kernel.asm 中的 sepc 来定位异常发生的位置。
  • 使用你在页表实验(pgtbl lab)中写的 vmprint 函数来打印页表内容,辅助调试。
  • 如果你遇到 incomplete type proc 的错误,记得先 #include "spinlock.h",再 #include "proc.h"

如果一切顺利,你的懒惰分配(lazy allocation)代码应该能使 echo hi 正常工作。在执行过程中,系统应该至少会发生一次页面异常(触发懒惰分配),也可能会触发两次。

2.2 实现

  • 按照官网提示,在trap.c 中的usertrap 的 printf else分支前添加处理代码
  • 如果 是 13(load page fault)或 15(store page fault)我们就调用 uvmalloc() 函数分配物理内存,并映射用户页表。
// ...
} else if((which_dev = devintr()) != 0){// ok
} else if(r_scause() == 13 || r_scause() == 15) {uint64 va = r_stval();if (uvmalloc(p->pagetable, PGROUNDDOWN(va), PGROUNDDOWN(va) + PGSIZE) == 0)p->killed = 1;
}
else {printf("usertrap(): unexpected scause %p pid=%d\n", r_scause(), p->pid);printf("            sepc=%p stval=%p\n", r_sepc(), r_stval());p->killed = 1;
}

值得注意的是,因为我们是利用缺页异常实现延迟分配,所以 uvmunmap 中的无法根据虚拟地址找到实际物理页面的情况需要取消panic,改为continue,否则就会触发panic:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

然后我们运行一下:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

三、Lazytests and Usertests

3.1 说明

我们为你提供了一个名为 lazytests 的 xv6 用户程序,它会测试一些特定情况,这些情况可能会对你的懒惰内存分配器造成压力。请修改你的内核代码,使 lazytestsusertests 中的所有测试都能通过。

你需要处理以下几种情况:

  • 处理 sbrk() 的负数参数:即当进程释放内存时,要正确缩小进程的地址空间。
  • 如果进程在访问一个高于 sbrk() 分配范围的虚拟地址时发生缺页异常,应终止该进程
  • 正确处理 fork() 中父进程到子进程的内存拷贝,包括懒惰分配页的复制。
  • 当进程将一个来自 sbrk() 的合法地址传递给系统调用(如 readwrite),但该地址尚未实际分配物理内存时,也应正确处理并触发分配
  • 正确处理内存耗尽的情况:如果在页面异常处理函数中 kalloc() 失败,表示系统已无可用内存,应该终止当前进程。
  • 处理位于用户栈下方的非法页面上的访问异常

你的实现是合格的,如果你的内核能够通过 lazytestsusertests 的全部测试,如下所示:

$ lazytests
lazytests starting
running test lazy alloc
test lazy alloc: OK
running test lazy unmap...
usertrap(): ...
test lazy unmap: OK
running test out of memory
usertrap(): ...
test out of memory: OK
ALL TESTS PASSED$ usertests
...
ALL TESTS PASSED$

3.2 实现

先跑一下看看哪里报错,结合官网提示去调:

3.2.1 lazytests

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

~~然后它就死了。~~但是给了很多信息。

我们先看uvmcopy,原代码:

  • 这个函数会把给定的父进程页表拷贝内存到子进程页表,页表和物理内存都进行拷贝
  • 官网提示我们正确完成拷贝包括懒惰分配页的复制
// Given a parent process's page table, copy
// its memory into a child's page table.
// Copies both the page table and the
// physical memory.
// returns 0 on success, -1 on failure.
// frees any allocated pages on failure.
int uvmcopy(pagetable_t old, pagetable_t new, uint64 sz)
{pte_t *pte;uint64 pa, i;uint flags;char *mem;for(i = 0; i < sz; i += PGSIZE){if((pte = walk(old, i, 0)) == 0)panic("uvmcopy: pte should exist");if((*pte & PTE_V) == 0)panic("uvmcopy: page not present");pa = PTE2PA(*pte);flags = PTE_FLAGS(*pte);if((mem = kalloc()) == 0)goto err;memmove(mem, (char*)pa, PGSIZE);if(mappages(new, i, PGSIZE, (uint64)mem, flags) != 0){kfree(mem);goto err;}}return 0;err:uvmunmap(new, 0, i / PGSIZE, 1);return -1;
}

然后注意到 panic(“uvmcopy: page not present”);被触发显然是因为遇到了我们假分配的页面

那就很简单了,注释掉panic,改为continue即可。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

再跑一遍:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

它又死了,这次报错在 freewalk

我们查看一下源码:

  • 它会递归释放页表页
  • 所以叶子映射都必须已经释放
// Recursively free page-table pages.
// All leaf mappings must already have been removed.
void freewalk(pagetable_t pagetable)
{// there are 2^9 = 512 PTEs in a page table.for(int i = 0; i < 512; i++){pte_t pte = pagetable[i];if((pte & PTE_V) && (pte & (PTE_R|PTE_W|PTE_X)) == 0){// this PTE points to a lower-level page table.uint64 child = PTE2PA(pte);freewalk((pagetable_t)child);pagetable[i] = 0;} else if(pte & PTE_V){panic("freewalk: leaf");}}kfree((void*)pagetable);
}

钠根据该函数的描述,我们知道说明有叶子节点没有被释放。

这其实是比较奇怪的,然后看到官网这一条提示:

  • 如果进程在访问一个高于 sbrk() 分配范围的虚拟地址时发生缺页异常,应终止该进程

于是合理怀疑是因为测试点里面有对于非法地址的访问,触发缺页异常,然后让我们误以为是懒惰分配,从而分配了物理内存。

于是在最早的usertrap中的逻辑中加一个地址界限的判断:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

这次就没问题了:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

3.2.2 usertests

同样的,我们根据错误找问题:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

通过vscode找到这个sbrkarg函数是在 usertest.c 下

  • 用来测试对分配内存的读写
  • 我们报错是在write的地方报错了
// test reads/writes from/to allocated memory
void sbrkarg(char *s)
{char *a;int fd, n;a = sbrk(PGSIZE);fd = open("sbrk", O_CREATE|O_WRONLY);unlink("sbrk");if(fd < 0)  {printf("%s: open sbrk failed\n", s);exit(1);}if ((n = write(fd, a, PGSIZE)) < 0) {printf("%s: write sbrk failed\n", s);exit(1);}close(fd);// test writes to allocated memorya = sbrk(PGSIZE);if(pipe((int *) a) != 0){printf("%s: pipe() failed\n", s);exit(1);} 
}

官网有着这样一条提示:

  • 当进程将一个来自 sbrk() 的合法地址传递给系统调用(如 readwrite),但该地址尚未实际分配物理内存时,也应正确处理并触发分配

那其实很好理解了,我们没有对 write 访问假分配时进行分配物理内存。

这个就需要我们去查看write 系统调用的实现,以及写逻辑。

先找到 sys_write

uint64 sys_write(void)
{struct file *f;int n;uint64 p;if(argfd(0, 0, &f) < 0 || argint(2, &n) < 0 || argaddr(1, &p) < 0)return -1;return filewrite(f, p, n);
}

发现调用了 filewrite

然后查看 filewrite 发现它又调用了 writei 来进行写逻辑

writei 又调用了either_copyin,而either_copyin又调用了copyin

最终在 copyin 中发现了对于pagetable 的访问

总而言之是这么个逻辑:

sys_write() -> filewrite() -> writei() -> either_copyin() -> copyin() -> walkaddr()

查看 walkaddr:

  • 果然有问题,如果访问到空页或者无效页,它直接返回0了(0代表未映射)
uint64 walkaddr(pagetable_t pagetable, uint64 va)
{pte_t *pte;uint64 pa;if(va >= MAXVA)return 0;pte = walk(pagetable, va, 0);if(pte == 0)return 0;if((*pte & PTE_V) == 0)return 0;if((*pte & PTE_U) == 0)return 0;pa = PTE2PA(*pte);return pa;
}

我们特判尝试物理分配即可:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

值得注意的是两个头文件的引用顺序:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

测试一下:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/diannao/84489.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

(Git) 稀疏检出(Sparse Checkout) 拉取指定文件

文章目录 &#x1f3ed;作用&#x1f3ed;指令总览&#x1f477;core.sparseCheckout&#x1f477;sparse-checkout 文件 &#x1f3ed;实例演示⭐END&#x1f31f;交流方式 &#x1f3ed;作用 类似于 .gitignore 进行文件的规则匹配。 一般在需要拉取大型项目指定的某些文件…

docker初学

加载镜像&#xff1a;docker load -i ubuntu.tar 导出镜像&#xff1a;docker save -o ubuntu1.tar ubuntu 运行&#xff1a; docker run -it --name mu ubuntu /bin/bash ocker run -dit --name mmus docker.1ms.run/library/ubuntu /bin/bash 进入容器&#xff1a;docke…

Docker系列(二):开机自启动与基础配置、镜像加速器优化与疑难排查指南

引言 docker 的快速部署与高效运行依赖于两大核心环节&#xff1a;基础环境搭建与镜像生态优化。本期博文从零开始&#xff0c;系统讲解 docker 服务的管理配置与镜像加速实践。第一部分聚焦 docker 服务的安装、权限控制与自启动设置&#xff0c;确保环境稳定可用&#xff1b…

计算机视觉(图像算法工程师)学习路线

计算机视觉学习路线 Python基础 常量与变量 列表、元组、字典、集合 运算符 循环 条件控制语句 函数 面向对象与类 包与模块Numpy Pandas Matplotlib numpy机器学习 回归问题 线性回归 Lasso回归 Ridge回归 多项式回归 决策树回归 AdaBoost GBDT 随机森林回归 分类问题 逻辑…

工业软件国产化:构建自主创新生态,赋能制造强国建设

随着全球产业环境的变化和技术的发展&#xff0c;建立自主可控的工业体系成为我国工业转型升级、走新型工业化道路、推动国家制造业竞争水平提升的重要抓手。 市场倒逼与政策护航&#xff0c;国产化进程双轮驱动 据中商产业研究院预测&#xff0c;2025年中国工业软件市场规模…

OpenCV CUDA 模块图像过滤------创建一个高斯滤波器函数createGaussianFilter()

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 cv::cuda::createGaussianFilter 是 OpenCV CUDA 模块中的一个工厂函数&#xff0c;用于创建一个高斯滤波器。这个滤波器可以用来平滑图像&#…

【RocketMQ 生产者和消费者】- 生产者发送故障延时策略

文章目录 1. 前言2. FaultItem3. LatencyFaultToleranceImpl 容错集合处理类3.1 updateFaultItem 更新容错集合3.2 isAvailable 判断 broker 是否可用3.3 pickOneAtLeast 至少选出一个故障 broker 4. MQFaultStrategy 故障策略类4.1 属性4.2 updateFaultItem 更新延迟故障容错信…

【HarmonyOS 5】Map Kit 地图服务之应用内地图加载

#HarmonyOS SDK应用服务&#xff0c;#Map Kit&#xff0c;#应用内地图 目录 前期准备 AGC 平台创建项目并创建APP ID 生成调试证书 生成应用证书 p12 与签名文件 csr 获取 cer 数字证书文件 获取 p7b 证书文件 配置项目签名 项目开发 配置Client ID 开通地图服务 配…

(1-6-1)Java 集合

目录 0.知识概述&#xff1a; 1.集合 1.1 集合继承关系类图 1.2 集合遍历的三种方式 1.3 集合排序 1.3.1 Collections实现 1.3.2 自定义排序类 2 List 集合概述 2.1 ArrayList &#xff08;1&#xff09;特点 &#xff08;2&#xff09;常用方法 2.2 LinkedList 3…

Vue.extend

Vue.extend 是 Vue 2 中的一个重要 API&#xff0c;用于基于一个组件配置对象创建一个“可复用的组件构造函数”。它是 Vue 内部构建组件的底层机制之一&#xff0c;适用于某些高级用法&#xff0c;比如手动挂载组件、弹窗动态渲染等。 ⚠️ 在 Vue 3 中已被移除&#xff0c;V…

【MySQL系列】SQL 分组统计与排序

博客目录 引言一、基础语法解析二、GROUP BY 的底层原理三、ORDER BY 的排序机制四、NULL 值的处理策略五、性能优化建议六、高级变体查询 引言 在现代数据分析和数据库管理中&#xff0c;分组统计是最基础也是最核心的操作之一。无论是业务报表生成、用户行为分析还是系统性能…

spring中的InstantiationAwareBeanPostProcessor接口详解

一、接口定位与核心功能 InstantiationAwareBeanPostProcessor是Spring框架中扩展Bean生命周期的关键接口&#xff0c;继承自BeanPostProcessor。它专注于Bean的实例化阶段&#xff08;对象创建和属性注入&#xff09;的干预&#xff0c;而非父接口的初始化阶段&#xff08;如…

uniapp使用sse连接后端,接收后端推过来的消息(app不支持!!)

小白终成大白 文章目录 小白终成大白前言一、什么是SSE呢&#xff1f;和websocket的异同点有什么&#xff1f;相同点不同点 二、直接上实现代码总结 前言 一般的请求就是前端发 后端回复 你一下我一下 如果需要有什么实时性的 后端可以主动告诉前端的技术 我首先会想到 webso…

QML学习06Button

QMLx学习06Button 1、Button1.1 状态改变&#xff08;checkable&#xff09;1.2 排斥性&#xff08;autoExclusive&#xff09;1.3 重复触发&#xff08;autoRepeat&#xff09;、第一次触发延时时间&#xff08;autoRepeatDelay&#xff09;、相互之间触发的时间间隔&#xff…

什么是前端工程化?它有什么意义

前端工程化是指通过工具、流程和规范,将前端开发从手工化、碎片化的模式转变为系统化、自动化和标准化的生产过程。其核心目标是 提升开发效率、保障代码质量、增强项目可维护性,并适应现代复杂 Web 应用的需求。 一、前端工程化的核心内容 1. 模块化开发 代码模块化:使用 …

校园二手交易系统

该交易平台分为两部分&#xff0c;前台和后台。用户在前台进行商品选购以及交易&#xff1b;管理员登录后台可以对商品进行维护&#xff0c;主要功能包含&#xff1a; 后台系统的主要功能模块如下&#xff1a; 登录功能、注册功能、后台首页 系统设置&#xff1a; 菜单管理、…

06-Web后端基础(java操作数据库)

1. 前言 在前面我们学习MySQL数据库时&#xff0c;都是利用图形化客户端工具(如&#xff1a;idea、datagrip)&#xff0c;来操作数据库的。 我们做为后端程序开发人员&#xff0c;通常会使用Java程序来完成对数据库的操作。Java程序操作数据库的技术呢&#xff0c;有很多啊&a…

uni-app学习笔记十三-vue3中slot插槽的使用

在页面开发中&#xff0c;通常一个页面分为头部&#xff0c;尾部&#xff0c;和中心内容区。其中头部&#xff0c;尾部一般比较固定&#xff0c;而中心区域往往是多样的&#xff0c;需要自定义开发。此时&#xff0c;我们可以引入slot(插槽)来实现这一目标。<slot> 作为一…

Agent模型微调

这篇文章讲解&#xff1a; 把 Agent 和 Fine-Tuning 的知识串起来&#xff0c;在更高的技术视角看大模型应用&#xff1b;加深对 Agent 工作原理的理解&#xff1b;加深对 Fine-Tuning 训练数据处理的理解。 1. 认识大模型 Agent 1.1 大模型 Agent 的应用场景 揭秘Agent核心…

【最新版】Arduino IDE的安装入门Demo

1、背景说明 1、本教程编写日期为2025-5-24 2、Arduino IDE的版本为&#xff1a;Arduino IDE 2.3.6 3、使用的Arduino为Arduino Uno 1、ArduinoIDE的安装 1、下载。网址如下&#xff1a;官网 2、然后一路安装即可。 期间会默认安装相关驱动&#xff0c;默认安装即可。 3、安…