Skip to main content

Llama-Factoryでのファインチューニング

note

この文書は AI によって翻訳されています。内容に不正確な点や改善すべき点がございましたら、文書下部のコメント欄または以下の Issue ページにてご報告ください。
https://github.com/Seeed-Studio/wiki-documents/issues

カスタムローカルLLM: JetsonでLlama-Factoryを使用してLLMをファインチューニング

はじめに​

🚀JetsonでLlama-Factoryを使用してLLMをファインチューニング！これで、あなたのニーズに合わせたカスタムプライベートローカルLLMを作成できます。

Llama-Factoryは、一般的な大規模言語モデル、データセット、ファインチューニング方法をサポートする非常に便利なファインチューニングツールを提供します。このプラットフォームを使用すると、簡単にプライベートな大規模言語モデルをカスタマイズできます。

このWikiでは、Nvidia JetsonにLlama-Factoryをデプロイし、中国語のQ&Aをサポートする大規模言語モデルをトレーニングする方法を学びます。

前提条件​

  • 16GB以上のメモリを持つJetsonデバイス。
  • モニター、マウス、キーボード、ネットワーク。（必須ではありません）
note

このWikiの実現可能性は、reComputer Orin NX 16GBおよびAGX Orin 64GB開発キットで既にテスト済みです。

今すぐ購入 🖱️

始める前に​

ハードウェア接続​

  1. EthernetケーブルをreComputer（Jetson搭載）に接続します。
  2. マウス、キーボード、モニターをreComputerに接続します。
  3. reComputerの電源を入れます。

Jetson-Examplesのインストール​

note

Seeed Studioのjetson-examplesは、NVIDIA JetsonプラットフォームでビジョンAIおよび生成AIモデルをシームレスにワンラインコマンドでデプロイする方法を提供します。

パッケージをインストールするには、Jetsonのターミナルを開いて以下を実行してください：

pip3 install jetson-examples
sudo reboot

JetsonでLlama-Factoryをインストールして実行​

jetson-examplesを使用してLlama-Factoryをワンラインでデプロイ：

reComputer run llama-factory

その後、Webブラウザを開き、以下のアドレスにアクセスしてWebUIを開きます：

# http://<jetson-ip>:7860
http://127.0.0.1:7860

トレーニングを開始​

ここでは、alpaca_zhデータセットを使用してPhi-1.5モデルをファインチューニングし、中国語の会話能力を持たせます。そのため、Web UIではトレーニングのModel nameとDatasetのみを設定し、その他のトレーニングパラメータはデフォルトのままにします。

最後に、startボタンをクリックしてトレーニングを開始します。

note

トレーニングプロセスは約18時間かかります。

ファインチューニングが完了すると、保存ディレクトリにファインチューニングされたモデルが見つかります。

ファインチューニングされたモデルのテスト​

最後に、Llama-Factoryを使用してファインチューニングされたモデルをテストし、中国語の会話能力を実際に取得しているか確認します。具体的な手順は以下の通りです。

ステップ1. Llama-Factory WebUIでファインチューニングされたモデルをロードします。

ステップ2. Inputテキストボックスに中国語のプロンプトを入力し、Submitボタンをクリックして、Chatbotテキストボックスに表示される大規模言語モデルの出力結果を確認します。

テスト結果から、ファインチューニングされたモデルが既に中国語で人間と会話する能力を持っていることがわかります。モデルにさらに高度な能力を持たせたい場合は、より多様なファインチューニングデータを使用してモデルをトレーニングしてみてください！

デモンストレーション​

参考文献​

技術サポート & 製品ディスカッション​

弊社製品をお選びいただきありがとうございます！お客様が弊社製品をスムーズにご利用いただけるよう、さまざまなサポートをご提供しております。異なるニーズやご希望に応じた複数のコミュニケーションチャネルをご用意しています。

Loading Comments...