Skip to main content

自定义本地LLM：在Jetson上通过Llama-Factory微调LLM

介绍​

🚀通过Llama-Factory在Jetson上微调LLM！现在您可以定制一个符合您需求的私有本地LLM.

Llama-Factory提供了一个非常方便的大型语言模型微调工具，支持常见的大型语言模型、数据集和微调方法。 通过这个平台，我们可以轻松定制私有大型语言模型。

在本资料中，我们将学习如何在Nvidia Jetson上部署Llama-Factory，并使用Llama-Factory训练一个支持中文问答的大型语言模型。

前置条件​

  • 拥有超过16GB内存的Jetson设备.
  • 显示器、鼠标、键盘和网络.（非必需）

:::标注 我们已经在reComputer上测试了本篇资料的可行性 Orin NX 16GB 和 AGX Orin 64GB 开发套件. :::

点击购买 🖱️

开始​

硬件连接​

  1. 将以Jetson为动力的reComputer连接以太网电缆。
  2. 将鼠标、键盘和显示器连接到reComputer。
  3. 打开reComputer电源。

安装Jetson-Examples​

:::标注

由Seeed Studio提供的jetson-examples 无缝的单线命令部署，可在英伟达 Jetson 平台上运行视觉 AI 和生成 AI 模型。

:::

要安装该软件包，请在Jetson中打开终端并运行：

pip3 install jetson-examples
sudo reboot

在Jetson上安装并运行Llama-Factory​

部署 Llama-Factory 通过jetson-examples一行命令:

reComputer run llama-factory

然后我们可以打开一个网页浏览器，访问该地址以打开WebUI：

# http://<jetson-ip>:7860
http://127.0.0.1:7860

开始训练​

我们使用 alpaca_zh 数据集来微调 Phi-1.5 模型，使其具备中文对话能力。 因此，在网页UI中，我们只需配置训练 Model name 和 Dataset，保持其他训练参数为默认值。

最后，点击 start 按钮以启动训练。

note

训练过程大约需要18小时。

完成微调后，您可以在保存目录中找到微调后的模型.

测试微调后的模型.​

最后，我们可以使用Llama-Factory与微调后的模型测试它是否确实具备中文对话能力。 具体步骤如下。

步骤1. 通过Llama-Factory WebUI加载微调后的模型.

步骤2. 在 Input 文本框中输入中文提示，点击 Submit 按钮，并检查大型语言模型在 Chatbot 文本框中的输出结果.

从测试结果来看，我们可以看到微调后的模型已经具备用中文与人对话的能力。如果您希望您的模型具备更高级的能力，请尝试使用更丰富的微调数据集来训练您的模型！

演示​

参考文档​

技术支持与产品讨论​

感谢您选择我们的产品！我们在这里为您提供不同的支持，以确保您使用我们的产品时体验尽可能顺畅。 我们提供多种沟通渠道，以满足不同的偏好和需求。

Loading Comments...