微调需要准备哪些环境配置?
如果没有 GPU,即便是微调较小的大语言模型(LLMs),过程也会比较慢。如果你已经有了现成的 GPU,那就可以直接开工了。不过,并不是所有人都能负担得起 GPU—— 这种情况下,你可以使用云服务平台来跟随本实操系列课程运行代码,比如 Google Colab(免费版提供 Tesla T4 GPU,含 15GB 内存)和 runpod.io(付费服务)。
Google Colab 配置
Google Colab 的默认环境已经包含了将用到的大部分库,只需要额外安装三个库:datasets、bitsandbytes和trl,操作非常简单。
Runpod.io 配置
RunPod 的 Jupyter Notebook 模板只预装了两个库:numpy和torch,因此你需要手动安装所有其他必要的包。
可选库
还有几个可选库:ollama、unsloth、xformers和gguf。 用于转换和部署微调后的模型。根据你在这些步骤中选择的方案不同,可能需要安装其中一个或多个库。