一、背景
linux系统里有非常多的锁种类,除了spinlock,mutex,rwlock,rwsem,还有rcu及顺序锁,这里面还有不少锁变种,比如spinlock的带bh或者irq字样的lock/unlock,还有nmi里可以用的顺序锁,还有不同模式的rcu等等,可见linux里的锁或者说内核同步原语的细节是非常非常多的。
普通linux里已经有这么多的细节了,但是如果加上rt-linux的patch,锁的细节就更加多了,尤其是rt-linux里与提高实时性相关的重要的锁改动,也就是以rtmutex为核心的那些锁的改动。
在之前的博客 rcu的实例、注意事项及原理讲解_rcu使用实例-CSDN博客 里,我们已经详细介绍了rcu,另外,在之前的博客 顺序锁的原理和使用注意事项-CSDN博客 里,我们也详细介绍了顺序锁,这篇博客里就不涉及这两个锁了。
这篇博客里,我们基于rt-linux这个大前提,来分析rt-linux里所有用到rtmutex核心的那些锁的调用链情况,从而能整体上对rt-linux里的这些rtmutex的衍生品锁,所谓的泛rtmutex锁有一个整体的认知。
二、泛rtmutex锁的调用链完整图及整体介绍
2.1 泛rtmutex锁的调用链完整图
我有整理一个泛rtmutex锁的调用链完整图,在资源 https://download.csdn.net/download/weixin_42766184/90894722 里。
完整的图非常非常大,缩小以后完全看不清:
2.2 整体介绍
rt-linux系统为了提高整个系统的实时性,修改了spinlock的实现,除了raw_spin_lock_xx保持原来的实现之外,其他的不带raw的spinlock都改成了rtmutex为核心的实现。不带raw的spinlock里不再像普通linux里一直死锁乐观地一等到底,而是等一段时间后,变为了rtmutex的等待方式,交出cpu,这样做肯定会让系统的吞吐量下降,因为上下文切换变多了,但是好处就是让锁的逻辑里也增加了调度点,让系统里更高优先级的任务能更早地进行响应。
这篇博客并不会深入到具体某个锁的实现细节里去,主要看的是rt-linux下rtmutex核心的这些锁的调用链关系,看里面哪些逻辑是公用的,是如何使用rtmutex核心的逻辑,各个锁之间的调用链关系上。
在第三章里的分类介绍之前,我们对整理出的图里的共性内容做一些简要说明。
2.2.1 CONFIG_DEBUG_LOCK_ALLOC和CONFIG_LOCKDEP
可以从图里看到,mutex系列、rt_mutex系列、down_read/up_read/down_write/up_write系列、rt读写锁系列、读写锁系列、rt自旋锁系列、自旋锁系列都有关于CONFIG_DEBUG_LOCK_ALLOC编译选项开和不开的一些分叉,在开了CONFIG_DEBUG_LOCK_ALLOC时,会多出一些xx_nested函数和宏,这些是用于调试lock的,用于检查内核是否错误地释放被持有的锁,什么意思呢?就是检测使用中的锁是否被意外释放,或者使用中的锁被重新初始化,或者在进程退出时有持有锁。另外,图里还有一些与CONFIG_LOCKDEP编译选项有关的宏或者函数的定义分叉,CONFIG_LOCKDEP是整个lockdep的总开关,更多的关于lockdep的编译选项的描述就不在这里展开了。
2.2.2 rtmutex核心逻辑函数
另外一点重点需要说明的是,图里列出来的这些锁,无论是哪个系列的锁,最终都会或多或少的使用到rtmutex核心逻辑的一些实现的接口函数,所以rtmutex核心逻辑的实现的接口函数还是非常多的,其实现在rtmutex.c里,在图里并没有列全,列了一部分,为的是有一个直观的认知,是最终用到了rtmutex的核心函数,如下:
这块rtmutex的核心逻辑函数主要是处理一些与优先级继承相关的一些功能,用于防止优先级反转等影响系统实时性而加的一些逻辑。
我们以__rt_mutex_slowlock来做一个展开,这个函数里的实现大致有下图里的这些内容:
可以看到,__rt_mutex_slowlock的实现里的这些函数大部分都是被其他函数如__rwbase_read_unlock,rt_mutex_slow_unlock、rt_mutex_slowunlock等函数所复用的。
2.2.3 rwbase_rt.c里被同时两个.c包含呈现两种不同的实现形态
rwbase_rt.c以及使用rwbase_rt.c的rwsem.c和spinlock_rt.c是一个有点类似C++基类继承的关系,就是说rwbase_rt.c是实现了一个基类,rwbase_rt.c的这个基类的实现里用到了一些纯虚接口,而这些用到的纯虚接口是在rwsem.c和spinlock_rt.c里各自定义自己的实现的。
这其实就是linux内核里,用C来模拟出C++的继承的方式,进行的一种抽象的实现,和内核里大量存在ops函数的用法不一样,但是核心的思想是一样的。
下图就是图里的上面说的rwsem.c和spinlock_rt.c里同一个函数rwbase_rtmutex_slowlock_locked的不同的呈现形态(实际有了不同的实现):
三、分类介绍
我们按照图里的从上到下的顺序进行依次介绍。
3.1 mutex系列和rt_mutex系列
mutex系列指的是调用的函数是mutex_开头的这些锁,如下图:
rt_mutex系列指的是调用的函数是ww_mutex_开头的这些锁,如下图:
在rt-linux系统上,mutex系列和rt_mutex系列虽然在函数定义上来说并没有马上画等号的指代,但是,很快就逻辑上合并了,如下图,mutex_xx系列用到的__mutex_lock_common继而就马上用到了__rt_mutex_lock,而rt_mutex_xx系列用到的_rt_mutex_lock_common继而马上也用到了__rt_mutex_lock:
对于mutex_trylock直接用的就是__rt_mutex_trylock来实现的。
3.2 ww_mutex系列
ww_mutex系列指的是调用的函数是ww_mutex_开头的这些锁,如下图:
ww_mutex系列是用于处理AB-BA死锁情形的一个锁,但是这种处理其实也只是说是为了避免系统严重的死锁崩溃,即,当检测到发生死锁时,让其中一个锁先unlock。
ww-mutex里ww表示wound-wait,是受伤地等待的意思,一方受伤地等待比让系统直接崩溃看起来会好一些,但是这可能也隐藏了问题,当前系统里使用ww_mutex系列的锁的人并不多。
需要说明的是ww_mutex系列的锁最终用到的还是rt_mutex_slowlock这样的rtmutex核心逻辑函数来实现的。
3.3 down_read/up_read/down_write/up_write系列
down_read/up_read/down_write/up_write系列指的是调用的函数是down_read_开头和up_read/down_write_开头/up_write的这些锁,如下图:
down_read/up_read/down_write/up_write系列其实也就是rwsem系列,rwsem和读写spinlock锁都是有读和写两个角色的,都是为了照顾多读少写场景下的并发性能,前者rwsem是会睡眠的,这是很显然的,后者读写spinlock锁在普通linux下是乐观地死等的,而在rt-linux下,则是会进行睡眠的。
回到这里说的rwsem,这个down_read/up_read/down_write/up_write系列的核心实现在rwsem.c里,而rwsem.c刚 2.2.3 里也讲到,是用到了rwbase_rt.c里的“基类”实现。
3.4 rt读写锁系列和读写锁系列
rt读写锁系列指的是调用的函数是rt_write_开头和rt_read_开头的这些锁,如下图:
读写锁系列指的是调用的函数是write_开头和read_开头的这些锁,如下图:
rt-linux里rt读写锁和读写锁在实现是很快就合并到用rt_write_xx和rt_read_xx这些rt_开头的接口里了:
rt_write_xx和rt_read_xx的具体实现,是在spinlock_rt.c里,而spinlock_rt.c刚 2.2.3 里也讲到,是用到了rwbase_rt.c里的“基类”实现。
3.5 rt自旋锁系列和自旋锁系列
rt自旋锁系列指的是调用的函数是rt_spin_开头的这些锁,如下图:
自旋锁系列指的是调用的函数是spin_开头的这些锁,如下图:
与 3.4 差不多,这里的 rt自旋锁系列和自旋锁系列很快也在实现上合并了,都是用的rt_spin_xx开头的这些的实现,这些的实现里,用到了rt_mutex_slowtrylock、rtlock_slowlock等rtmutex里的核心实现函数,这些核心函数的使用在实现上和rt_mutex_系列接口相比,在使用rtmutex核心逻辑函数上,也是比较接近的。