Skip to main content

自定义本地 LLM：在 Jetson 上使用 Llama-Factory 微调 LLM

note

本文档由 AI 翻译。如您发现内容有误或有改进建议，欢迎通过页面下方的评论区，或在以下 Issue 页面中告诉我们：https://github.com/Seeed-Studio/wiki-documents/issues

简介​

🚀在 Jetson 上使用 Llama-Factory 微调 LLM！现在，您可以根据需求定制一个私有的本地 LLM。

Llama-Factory 提供了一个高度便捷的大语言模型微调工具，支持常见的大语言模型、数据集和微调方法。通过这个平台，我们可以轻松定制私有的大语言模型。

在本教程中，我们将学习如何在 Nvidia Jetson 上部署 Llama-Factory，并使用 Llama-Factory 训练一个支持中文问答的大语言模型。

前置条件​

  • 配备超过 16GB 内存的 Jetson 设备。
  • 显示器、鼠标、键盘和网络。（非必要）
note

我们已经在 reComputer Orin NX 16GB 和 AGX Orin 64GB 开发套件上测试了本教程的可行性。

立即获取 🖱️

快速开始​

硬件连接​

  1. 将以太网线连接到 reComputer（由 Jetson 提供支持）。
  2. 将鼠标、键盘和显示器连接到 reComputer。
  3. 启动 reComputer。

安装 Jetson-Examples​

note

Seeed Studio 的 jetson-examples 提供了一键命令部署，可在 NVIDIA Jetson 平台上运行视觉 AI 和生成式 AI 模型。

在 Jetson 的终端中运行以下命令以安装该包：

pip3 install jetson-examples
sudo reboot

在 Jetson 上安装并运行 Llama-Factory​

通过 jetson-examples 一键部署 Llama-Factory：

reComputer run llama-factory

然后，我们可以打开浏览器并访问以下地址以打开 WebUI：

# http://<jetson-ip>:7860
http://127.0.0.1:7860

开始训练​

这里，我们使用 alpaca_zh 数据集微调 Phi-1.5 模型，使其具备中文对话能力。因此，在 Web UI 中，我们只需配置训练的 Model name 和 Dataset，其余训练参数保持默认。

最后，点击 start 按钮开始训练。

note

训练过程大约需要 18 小时。

训练完成后，您可以在保存目录中找到微调后的模型。

测试微调后的模型​

最后，我们可以使用 Llama-Factory 和微调后的模型测试其是否确实具备了中文对话能力。具体步骤如下：

步骤1. 通过 Llama-Factory WebUI 加载微调后的模型。

步骤2. 在 Input 文本框中输入中文提示，点击 Submit 按钮，并在 Chatbot 文本框中查看大语言模型的输出结果。

从测试结果可以看出，微调后的模型已经具备了与人进行中文对话的能力。如果您希望您的模型具备更高级的能力，可以尝试使用更多样化的微调数据来训练您的模型！

演示​

参考资料​

技术支持与产品讨论​

感谢您选择我们的产品！我们为您提供多种支持渠道，确保您使用我们的产品时体验顺畅。我们提供多种沟通方式，以满足不同的偏好和需求。

Loading Comments...