Skip to main content

自定义本地 LLM：在 Jetson 上使用 Llama-Factory 微调 LLM

介绍​

🚀在 Jetson 上使用 Llama-Factory 微调 LLM！现在您可以定制一个符合您需求的自定义私有本地 LLM。

Llama-Factory 提供了一个高度便捷的大语言模型微调工具，支持常见的大语言模型、数据集和微调方法。通过这个平台，我们可以轻松定制私有大语言模型。

在本教程中，我们将学习如何在 Nvidia Jetson 上部署 Llama-Factory，并使用 Llama-Factory 训练一个支持中文问答的大语言模型。

先决条件​

  • 具有超过 16GB 内存的 Jetson 设备。
  • 显示器、鼠标、键盘和网络。（非必需）
note

我们已经在 reComputer Orin NX 16GB 和 AGX Orin 64GB 开发套件上测试了本教程的可行性。

立即获取 🖱️

开始使用​

硬件连接​

  1. 将以太网线连接到 reComputer（由 Jetson 驱动）。
  2. 将鼠标、键盘和显示器连接到 reComputer。
  3. 开启 reComputer 电源。

安装 Jetson-Examples​

note

由 Seeed Studio 开发的 jetson-examples 提供了无缝的一行命令部署，可在 NVIDIA Jetson 平台上运行视觉 AI 和生成式 AI 模型。

要安装该包，请在 Jetson 中打开终端并运行：

pip3 install jetson-examples
sudo reboot

Install and Run Llama-Factory on Jetson​

Deploy Llama-Factory by jetson-examples in one-line:

reComputer run llama-factory

然后我们可以打开网页浏览器并访问该地址来打开 WebUI：

# http://<jetson-ip>:7860
http://127.0.0.1:7860

开始训练​

在这里，我们使用 alpaca_zh 数据集来微调 Phi-1.5 模型，使其具备中文对话能力。因此，在 web UI 中，我们只配置训练的 Model name 和 Dataset，其他训练参数保持默认设置。

最后，点击 start 按钮开始训练。

note

训练过程大约需要 18 小时。

完成微调后，您可以在保存目录中找到微调后的模型。

测试微调后的模型​

最后，我们可以使用 Llama-Factory 和微调后的模型来测试它是否确实获得了中文对话能力。具体步骤如下。

步骤1. 通过 Llama-Factory WebUI 加载微调后的模型。

步骤2. 在 Input 文本框中输入中文提示，点击 Submit 按钮，并在 Chatbot 文本框中查看大语言模型的输出结果。

从测试结果可以看出，微调后的模型已经具备了用中文与人类对话的能力。如果您希望您的模型具有更高级的能力，请尝试使用更多样化的微调数据集来训练您的模型！

演示​

参考资料​

技术支持与产品讨论​

感谢您选择我们的产品！我们在这里为您提供不同的支持，以确保您使用我们产品的体验尽可能顺畅。我们提供多种沟通渠道，以满足不同的偏好和需求。

Loading Comments...