在gin框架中,最关键的就是前缀树,是很重要的。
gin框架本质上是在http包的基础之上,对其的一个二次封装。
这里借鉴一下小徐先生的图,可能当前版本的gin可能内容有所改变,但大致思想还是这样。
gin框架所做的就是提供一个gin.Engine作为对象Handler注入其中,从而实现路由注册匹配,请求处理链路的优化。
一.核心数据结构
1.1 gin.Engine
type Engine struct {// 路由组RouterGroup// ...// context 对象池pool sync.Pool// 方法路由树trees methodTrees// ...
}
Engine 为 Gin 中构建的 HTTP Handler,其实现了 net/http 包下 Handler interface 的抽象方法: Handler.ServeHTTP,因此可以作为 Handler 注入到 net/http 的 Server 当中.
Engine包含的核心内容包括:
- 路由组 RouterGroup
- Context 对象池 pool:基于 sync.Pool 实现,作为复用 gin.Context 实例的缓冲池.
- 路由树数组 trees:共有 9 棵路由树,对应于 9 种 http 方法. 路由树基于压缩前缀树实现,
1.2 http方法
这里要知道一点,很多人都只用常见的4种方法,实际上gin框架并不仅仅只能处理这4种。
还可以处理这些方法:
- PATCH(用于对资源进行部分更新)
- HEAD(类似于GET,但只返回响应头)
- OPTIONS(用于获取服务器支持的请求方法等信息)
const (MethodGet = "GET"MethodHead = "HEAD"MethodPost = "POST"MethodPut = "PUT"MethodPatch = "PATCH" // RFC 5789MethodDelete = "DELETE"MethodConnect = "CONNECT"MethodOptions = "OPTIONS"MethodTrace = "TRACE"
)
1.3 RouterGroup
type RouterGroup struct {Handlers HandlersChainbasePath stringengine *Engineroot bool
}
RouterGroup 是路由组的概念,其中的配置将被从属于该路由组的所有路由复用:
- Handlers:路由组共同的 handler 处理函数链. 组下的节点将拼接 RouterGroup 的公用 handlers 和自己的 handlers,组成最终使用的 handlers 链
- basePath:路由组的基础路径. 组下的节点将拼接 RouterGroup 的 basePath 和自己的 path,组成最终使用的 absolutePath
- engine:指向路由组从属的 Engine
- root:标识路由组是否位于 Engine 的根节点. 当用户基于 RouterGroup.Group 方法创建子路由组后,该标识为 false
1.4 HandlersChain
type HandlersChain []HandlerFunctype HandlerFunc func(*Context)
HandlersChain 是由多个路由处理函数 HandlerFunc 构成的处理函数链. 在使用的时候,会按照索引的先后顺序依次调用 HandlerFunc.
二.注册和启动流程
2.1 注册流程
下面以创建 gin.Engine 、注册 middleware 和注册 handler 作为主线,进行源码走读和原理解析:
func main() {// 创建一个 gin Engine,本质上是一个 http Handlermux := gin.Default()// 注册中间件mux.Use(myMiddleWare)// 注册一个 path 为 /ping 的处理函数mux.POST("/ping", func(c *gin.Context) {c.JSON(http.StatusOK, "pone")})// ...
}
接下来说一下注册的流程,在gin框架底层到底发生了什么?
- 方法调用:gin.Default -> gin.New
- 创建一个 gin.Engine 实例
- 创建 Engine 的首个 RouterGroup,对应的处理函数链 Handlers 为 nil,基础路径 basePath 为 "/",root 标识为 true
- 构造了 9 棵方法路由树,对应于 9 种 http 方法
- 创建了 gin.Context 的对象池
- 注册middleware
通过 Engine.Use 方法可以实现中间件的注册,会将注册的 middlewares 添加到 RouterGroup.Handlers 中. 后续 RouterGroup 下新注册的 handler 都会在前缀中拼上这部分 group 公共的 handlers.
func (engine *Engine) Use(middleware ...HandlerFunc) IRoutes {engine.RouterGroup.Use(middleware...)// ...return engine
}
可以看到这个Use函数,可以同时注册多个中间件,他们是有一定的执行顺序的。
- 注册handler
以 http post 为例,注册 handler 方法调用顺序为 RouterGroup.POST-> RouterGroup.handle,接下来会完成三个步骤:
- 拼接出待注册方法的完整路径 absolutePath
- 拼接出代注册方法的完整处理函数链 handlers
- 以 absolutePath 和 handlers 组成 kv 对添加到路由树中
一开始root的路径就是/,如果后续你添加路由组,也就是Group的时候,就会根据拼接,然后对应到相应的路由树去。
2.2 启动流程
这里是gin框架的运行http为主线,看下它的运行流程
func main() {// 创建一个 gin Engine,本质上是一个 http Handlermux := gin.Default()// 一键启动 http 服务if err := mux.Run(); err != nil{panic(err)}
}
func (engine *Engine) Run(addr ...string) (err error) {// ...err = http.ListenAndServe(address, engine.Handler())return
}
Run函数下调用ListenAndServe,传入的是gin框架实现的处理器,从而实现连接
顺便多提一嘴,ListenerAndServe 方法本身会基于主动轮询 + IO 多路复用的方式运行,因此程序在正常运行时,会始终阻塞于 Engine.Run 方法,不会返回.
func (srv *Server) Serve(l net.Listener) error {// ...ctx := context.WithValue(baseCtx, ServerContextKey, srv)for {rw, err := l.Accept()// ...connCtx := ctx// ...c := srv.newConn(rw)// ...go c.serve(connCtx)}
}
通过这个阻塞操作,每当有http请求来时,就会对他处理,然后开启一个协程来处理这个请求。
在服务端接收到 http 请求时,会通过 Handler.ServeHTTP 方法进行处理. 而此处的 Handler 正是 gin.Engine,其处理请求的核心步骤如下:
- 对于每笔 http 请求,会为其分配一个 gin.Context,在 handlers 链路中持续向下传递
- 调用 Engine.handleHTTPRequest 方法,从路由树中获取 handlers 链,然后遍历调用
- 处理完 http 请求后,会将 gin.Context 进行回收. 整个回收复用的流程基于对象池管理
func (engine *Engine) ServeHTTP(w http.ResponseWriter, req *http.Request) {// 从对象池中获取一个 contextc := engine.pool.Get().(*Context)// 重置/初始化 contextc.writermem.reset(w)c.Request = reqc.reset()// 处理 http 请求engine.handleHTTPRequest(c)// 把 context 放回对象池engine.pool.Put(c)
}
Engine.handleHTTPRequest 方法核心步骤分为三步:
- 根据 http method 取得对应的 methodTree
- 根据 path 从 methodTree 中找到对应的 handlers 链
- 将 handlers 链注入到 gin.Context 中,通过 Context.Next 方法按照顺序遍历调用 handler
三.路由实现原理
3.1 压缩前缀树(radix tree)
再说压缩前缀树之前,先来说说前缀树:
前缀树也称Trie树或字典树,是一种基于字符串公共前缀构建树形结构,来降低查询时间和提高效率的目的。前缀树一般用于统计和排序大量的字符串,其核心思想是空间换时间。
前缀树有三个重要特性:
- 根节点不包含字符,除根节点外每一个节点都只包含一个字符。
- 从根节点到某一节点路径上所有字符连接起来,就是该节点对应的字符串。
- 每个节点任意子节点包含的字符都不相同。
如下是普通前缀树的结构:
接下来,看看什么是压缩前缀树。
压缩前缀树又称基数树或 radix 树,是对前缀树的改良版本,优化点主要在于空间的节省
gin框架就采用的是压缩前缀树实现。
他和普通前缀树的区别就是倘若某个子节点是其父节点的唯一孩子,则与父节点进行合并。
3.2 为什么使用前缀树?
我们一般会将前缀树与哈希表结构进行对比,实际上标准库采用的就是哈希表实现。哈希表实现简单粗暴,但是有一些缺点,不太适合作为通用的路由结构。如:
- 哈希表实现只支持简单的路径,不支持路径参数和通配
- 路由的数量一般是有限的,使用map的优势并不明显
- 哈希表需要存储完整的路径,相比较而言前缀树存储公共前缀只需要一个节点,空间效率更高
3.3 补偿机制
在 Gin 路由树中还使用一种补偿策略,在组装路由树时,会将注册路由句柄数量更多的 child node 摆放在 children 数组更靠前的位置.
这是因为某个链路注册的 handlers 句柄数量越多,一次匹配操作所需要花费的时间就越长,且被匹配命中的概率就越大,因此应该被优先处理.
3.4 核心数据结构
下面聊一下路由树的数据结构,对应于 9 种 http method,共有 9 棵 methodTree. 每棵 methodTree 会通过 root 指向 radix tree 的根节点.
type methodTree struct {method stringroot *node
}
具体的内容就不再介绍了,有兴趣可以下去了解一下
四.gin.Context
接下来来看一下gin框架的上下文,已经它是如何承接http的吧
4.1 核心数据结构
gin.Context 的定位是对应于一次 http 请求,贯穿于整条 handlersChain 调用链路的上下文,其中包含了如下核心字段:
- Request/Writer:http 请求和响应的 reader、writer 入口
- handlers:本次 http 请求对应的处理函数链
- index:当前的处理进度,即处理链路处于函数链的索引位置
- engine:Engine 的指针
- mu:用于保护 map 的读写互斥锁
- Keys:缓存 handlers 链上共享数据的 map
type Context struct {// ...// http 请求参数Request *http.Request// http 响应 writerWriter ResponseWriter// ...// 处理函数链handlers HandlersChain// 当前处于处理函数链的索引index int8engine *Engine// ...// 读写锁,保证并发安全mu sync.RWMutex// key value 对存储 mapKeys map[string]any// ..
}
4.2 复用策略
gin.Context 作为处理 http 请求的通用数据结构,不可避免地会被频繁创建和销毁. 为了缓解 GC 压力,gin 中采用对象池 sync.Pool 进行 Context 的缓存复用,处理流程如下:
- • http 请求到达时,从 pool 中获取 Context,倘若池子已空,通过 pool.New 方法构造新的 Context 补上空缺
- • http 请求处理完成后,将 Context 放回 pool 中,用以后续复用
sync.Pool 并不是真正意义上的缓存,将其称为回收站或许更加合适,放入其中的数据在逻辑意义上都是已经被删除的,但在物理意义上数据是仍然存在的,这些数据可以存活两轮 GC 的时间,在此期间倘若有被获取的需求,则可以被重新复用.
看一下gin.Context的回收和分配时机
gin.Context 分配与回收的时机是在 gin.Engine 处理 http 请求的前后,位于 Engine.ServeHTTP 方法当中:
- 从池中获取 Context
- 重置 Context 的内容,使其成为一个空白的上下文
- 调用 Engine.handleHTTPRequest 方法处理 http 请求
- 请求处理完成后,将 Context 放回池中
func (engine *Engine) ServeHTTP(w http.ResponseWriter, req *http.Request) {// 从对象池中获取一个 contextc := engine.pool.Get().(*Context)// 重置/初始化 contextc.writermem.reset(w)c.Request = reqc.reset()// 处理 http 请求engine.handleHTTPRequest(c)// 把 context 放回对象池engine.pool.Put(c)
}
4.3 使用时机
(1)handlesChain 入口
在 Engine.handleHTTPRequest 方法处理请求时,会通过 path 从 methodTree 中获取到对应的 handlers 链,然后将 handlers 注入到 Context.handlers 中,然后启动 Context.Next 方法开启 handlers 链的遍历调用流程.
func (engine *Engine) handleHTTPRequest(c *Context) {// ...t := engine.treesfor i, tl := 0, len(t); i < tl; i++ {if t[i].method != httpMethod {continue}root := t[i].root value := root.getValue(rPath, c.params, c.skippedNodes, unescape)// ...if value.handlers != nil {c.handlers = value.handlersc.fullPath = value.fullPathc.Next()c.writermem.WriteHeaderNow()return}// ...}// ...
}
(2)handlesChain 遍历调用
推进 handlers 链调用进度的方法正是 Context.Next. 可以看到其中以 Context.index 为索引,通过 for 循环依次调用 handlers 链中的 handler.
func (c *Context) Next() {c.index++for c.index < int8(len(c.handlers)) {c.handlers[c.index](c)c.index++}
}
由于 Context 本身会暴露于调用链路中,因此用户可以在某个 handler 中通过手动调用 Context.Next 的方式来打断当前 handler 的执行流程,提前进入下一个 handler 的处理中.
由于此时本质上是一个方法压栈调用的行为,因此在后置位 handlers 链全部处理完成后,最终会回到压栈前的位置,执行当前 handler 剩余部分的代码逻辑.
结合下面的代码示例来说,用户可以在某个 handler 中,于调用 Context.Next 方法的前后分别声明前处理逻辑和后处理逻辑,这里的“前”和“后”相对的是后置位的所有 handler 而言.
func myHandleFunc(c *gin.Context){// 前处理preHandle() c.Next()// 后处理postHandle()
}
此外,用户可以在某个 handler 中通过调用 Context.Abort 方法实现 handlers 链路的提前熔断.
其实现原理是将 Context.index 设置为一个过载值 63,导致 Next 流程直接终止. 这是因为 handlers 链的长度必须小于 63,否则在注册时就会直接 panic. 因此在 Context.Next 方法中,一旦 index 被设为 63,则必然大于整条 handlers 链的长度,for 循环便会提前终止.
const abortIndex int8 = 63func (c *Context) Abort() {c.index = abortIndex
}
此外,用户还可以通过 Context.IsAbort 方法检测当前 handlerChain 是出于正常调用,还是已经被熔断.
func (c *Context) IsAborted() bool {return c.index >= abortIndex
}
注册 handlers,倘若 handlers 链长度达到 63,则会 panic
func (group *RouterGroup) combineHandlers(handlers HandlersChain) HandlersChain {finalSize := len(group.Handlers) + len(handlers)// 断言 handlers 链长度必须小于 63assert1(finalSize < int(abortIndex), "too many handlers")// ...
}
4.4 共享数据存取
gin.Context 作为 handlers 链的上下文,还提供对外暴露的 Get 和 Set 接口向用户提供了共享数据的存取服务,相关操作都在读写锁的保护之下,能够保证并发安全.
type Context struct {// ...// 读写锁,保证并发安全mu sync.RWMutex// key value 对存储 mapKeys map[string]any
}
func (c *Context) Get(key string) (value any, exists bool) {c.mu.RLock()defer c.mu.RUnlock()value, exists = c.Keys[key]return
}
func (c *Context) Set(key string, value any) {c.mu.Lock()defer c.mu.Unlock()if c.Keys == nil {c.Keys = make(map[string]any)}c.Keys[key] = value
}