推荐大语言模型(LLM)的入门项目 TiaoYu-1。

https://github.com/tiaoyu1122/TiaoYu-1

项目优点：

1. 几乎每一行代码(一些重复的代码除外)都添加了注释，详细介绍了代码的作用，方便阅读与理解。
2. 基本上覆盖了常见 LLM 模型的全部训练流程，包括：预训练、有监督微调(SFT)、人类反馈强化学习(ELHF)、LoRA微调、推理模型训练(Reasoning)、知识蒸馏(KD)等。
3. 对 LLM 模型的一些关键知识点进行了总结和梳理。