使用 reComputer-Jetson® 的生成式 AI
本文档由 AI 翻译。如您发现内容有误或有改进建议，欢迎通过页面下方的评论区，或在以下 Issue 页面中告诉我们：https://github.com/Seeed-Studio/wiki-documents/issues
生成式 AI 是一种人工智能技术，通过学习现有数据生成新的数据，例如图像、文本或音频。Nvidia Jetson 是 NVIDIA 开发的边缘 AI 平台，具有高性能处理能力和低功耗设计，适用于各种嵌入式和物联网设备。它支持深度学习、计算机视觉以及其他 AI 应用，提供强大的计算能力和丰富的开发工具。生成式 AI 与 Jetson 的结合能够实现高效的本地实时生成和边缘设备上的推理。
文本生成
文本生成是一种利用深度学习和大型语言模型生成自然语言文本的技术。这些模型通过海量数据集进行训练，能够学习语言的词汇、语法和语义结构。它们可以生成流畅且连贯的文本，不仅限于回答问题或进行对话，还包括写文章、创作故事、生成代码以及翻译语言等任务。在这里，我们将文本生成算法部署到 Jetson 上，以创建自己的本地聊天机器人。
| 本地 AI 助手 | 本地语音聊天机器人 |
|---|---|
 |  |
| 在 Jetson 设备上使用 ollama 和 AnythingLLM 设置本地知识库。 | 使用 Nvidia Riva 和 Meta Llama2 构建本地运行的语音聊天机器人。 |
图像生成
图像生成通过解释输入的文本描述，使模型生成与描述相匹配的高质量图像。这项技术在艺术创作、广告设计和游戏开发等领域有广泛应用，能够自动生成满足用户需求的视觉内容。
| 运行本地 LLM 文本到图像 |
|---|
 |
| 在 Jetson 上部署图像生成模型并评估其推理性能。 |
音频生成
音频生成可以使用神经网络生成高质量、逼真的音频，包括语音、音乐和音效。通过在大量数据集上进行训练，这些模型能够学习自然声音的模式和细微差别，从而实现语音合成、自动音乐创作和音效生成等应用。
| 语音字幕生成 | 在 NVIDIA Jetson Orin 上部署 Whisper |
|---|---|
 |  |
| 在 Jetson 上进行语音字幕生成，可以提供实时语音转字幕服务，同时避免互联网信息泄露。 | 在 Jetson Orin 上部署 Whisper，以构建强大、高效的语音转文本 (STT) 应用。 |
多模态生成
多模态生成技术结合了多种形式的数据，例如文本、图像和声音，以创建整合多种信息类型的内容。该技术利用深度学习模型处理并融合来自不同模态的数据，从而生成更具表现力和多样化的内容。例如，文本到图像模型可以根据文本描述生成相应的图像，而语音合成模型可以从文本生成语音，同时生成相关图像。多模态生成在虚拟现实、增强现实和多媒体内容创作中展现了广阔的应用前景。
| 在 reComputer 上运行 VLM |
|---|
 |
| 本教程提供了如何在 reComputer J4012 Jetson Orin NX 上使用 Jetson 平台服务运行 VLM 的指南。 |
检索增强生成
RAG（检索增强生成）是一种结合检索机制与生成模型的技术。RAG 模型不仅使用生成模型生成响应，还通过信息检索技术从大型数据库中检索相关信息，以增强生成内容的准确性和丰富性。该技术在问答系统、智能搜索和内容生成等应用中表现出色。通过利用检索到的信息，RAG 模型可以生成更详细和信息丰富的响应，从而提高生成内容的质量和相关性。
| 本地 AI 助手 | 基于 LlamaIndex 的本地 RAG |
|---|---|
|  |
| 在 Jetson 设备上使用 ollama 和 AnythingLLM 设置本地知识库。 | 通过此本地 RAG 项目，可以保护您的数据隐私，并为您提供低延迟的通信体验。 |
其他
| 在 Jetson 上微调 LLM | 使用 MLC 的量化 LLM | 零样本检测 |
|---|---|---|
 |  |  |
| 在 Nvidia Jetson 上部署 Llama-Factory，并使用 Llama-Factory 训练大型语言模型。 | 在 Jetson Orin NX 上部署使用 MLC LLM 的量化 Llama2-7B。 | 零样本检测 AI 服务通过 REST API 端点暴露，用于控制流输入和检测对象。 |
| 使用 Langchain 格式化输出 | ||
 | ||
| 使用 Langchain 格式化大型语言模型的输出，并将其部署到边缘计算设备上。 | ||
技术支持与产品讨论
感谢您选择我们的产品！我们致力于为您提供各种支持，确保您使用我们的产品时体验顺畅。我们提供多种沟通渠道，以满足不同的偏好和需求。