Generative AI with reComputer-Jetson®

note

この文書は AI によって翻訳されています。内容に不正確な点や改善すべき点がございましたら、文書下部のコメント欄または以下の Issue ページにてご報告ください。
https://github.com/Seeed-Studio/wiki-documents/issues

生成AI は、既存のデータを学習して新しいデータ（画像、テキスト、音声など）を生成する人工知能技術です。Nvidia Jetson は、NVIDIAが開発したエッジAIプラットフォームで、高性能な処理能力と低消費電力設計を特徴とし、さまざまな組み込みおよびIoTデバイスに適しています。深層学習、コンピュータビジョン、その他のAIアプリケーションをサポートし、強力な計算能力と豊富な開発ツールを提供します。生成AIとJetsonの組み合わせにより、エッジデバイス上で効率的なローカルリアルタイム生成と推論が可能になります。

テキスト生成

テキスト生成は、深層学習と大規模言語モデルを使用して自然言語テキストを生成する技術です。これらのモデルは膨大なデータセットで訓練され、言語の語彙、文法、意味構造を学習します。流暢で一貫性のあるテキストを生成できるだけでなく、質問への回答や会話だけでなく、記事の執筆、物語の作成、コード生成、言語翻訳などのタスクにも対応します。ここでは、Jetson上でテキスト生成アルゴリズムを展開し、ローカルチャットボットを作成します。

ローカルAIアシスタント	ローカル音声チャットボット
ollamaとAnythingLLMを使用してJetsonデバイス上にローカル知識ベースを構築します。	Nvidia RivaとMeta Llama2を使用してローカルで動作する音声チャットボットを構築します。
📚 詳細を見る	📚 詳細を見る

画像生成

画像生成は、入力されたテキスト記述を解釈することで、記述に一致する高品質な画像を生成する技術です。この技術は、芸術的な創作、広告デザイン、ゲーム開発などの分野で幅広く応用されており、ユーザーのニーズに合った視覚コンテンツを自動的に生成することを可能にします。

ローカル LLM テキストから画像生成を実行
Jetson 上で画像生成モデルをデプロイし、その推論性能を評価します。
📚 詳しく学ぶ

音声生成

音声生成は、ニューラルネットワークを使用して、スピーチ、音楽、効果音などの高品質でリアルな音声を生成する技術です。広範なデータセットでトレーニングすることで、これらのモデルは自然な音声パターンやニュアンスを再現することを学び、音声合成、自動音楽作曲、効果音作成などの用途を可能にします。

スピーチ字幕生成	NVIDIA Jetson Orin 上で Whisper をデプロイ
Jetson 上でスピーチ字幕生成を行い、インターネット上での情報漏洩を防ぎながらリアルタイムのスピーチから字幕へのサービスを提供します。	Jetson Orin 上で Whisper をデプロイし、堅牢で効率的な音声認識（STT）アプリケーションを構築します。
📚 詳しく学ぶ	📚 詳しく学ぶ

マルチモーダル生成

マルチモーダル生成技術は、テキスト、画像、音声などのさまざまな形式のデータを組み合わせて、複数の情報タイプを統合したコンテンツを生成します。この技術は、異なるモダリティのデータを処理し融合するためにディープラーニングモデルを使用し、より表現力豊かで多様なコンテンツを生み出します。例えば、テキストから画像を生成するモデルは、テキスト記述に基づいて対応する画像を生成することができ、音声合成モデルはテキストから音声を生成し、同時に関連する画像を生成することも可能です。マルチモーダル生成は、仮想現実、拡張現実、マルチメディアコンテンツ制作などの分野で広範な応用の可能性を示しています。

reComputerでVLMを実行
このWikiでは、Jetsonプラットフォームサービスを使用して、reComputer J4012 Jetson Orin NXでVLMを実行する方法についてのチュートリアルを提供します。
📚 詳細を見る

検索拡張生成

RAG（Retrieval-Augmented Generation）は、検索メカニズムと生成モデルを組み合わせた技術です。RAGモデルは、生成モデルを使用して応答を生成するだけでなく、大規模なデータベースから関連情報を検索することで、生成されたコンテンツの正確性と豊かさを向上させます。この技術は、質問応答システム、インテリジェント検索、コンテンツ生成などのアプリケーションで優れた性能を発揮します。検索された情報を活用することで、RAGモデルはより詳細で情報豊富な応答を生成し、生成コンテンツの品質と関連性を向上させます。

ローカルAIアシスタント	LlamaIndexを使用したローカルRAG
Jetsonデバイス上でollamaとAnythingLLMを使用してローカルナレッジベースをセットアップします。	このローカルRAGプロジェクトを使用することで、データプライバシーを保護し、低遅延の通信体験を提供します。
📚 詳細を見る	📚 詳細を見る

その他

JetsonでのLLMのファインチューニング	MLCを使用した量子化LLM	ゼロショット検出
Nvidia Jetson上でLlama-Factoryをデプロイし、Llama-Factoryを使用して大規模言語モデルをトレーニングします。	Jetson Orin NX上でMLC LLMを使用して量子化されたLlama2-7Bをデプロイします。	ゼロショット検出AIサービスは、ストリーム入力と検出対象オブジェクトを制御するためのREST APIエンドポイントを提供します。
📚 詳細を見る	📚 詳細を見る	📚 詳細を見る
Langchainを使用した出力フォーマット
Langchainを使用して大規模言語モデルの出力をフォーマットし、エッジコンピューティングデバイス上でデプロイします。
📚 詳細を見る

技術サポートと製品ディスカッション

弊社の製品をお選びいただき、ありがとうございます！お客様が弊社製品をスムーズにご利用いただけるよう、さまざまなサポートをご提供しております。異なる好みやニーズに対応するため、いくつかのコミュニケーションチャネルをご用意しています。