Skip to main content

快速部署 DeepSeek 于 reComputer Jetson

note

本文档由 AI 翻译。如您发现内容有误或有改进建议，欢迎通过页面下方的评论区，或在以下 Issue 页面中告诉我们：https://github.com/Seeed-Studio/wiki-documents/issues

简介​

DeepSeek 是一套前沿的 AI 模型套件，专为高效性、准确性和实时处理而优化。通过针对边缘计算的高级优化，DeepSeek 能够直接在 Jetson 设备上实现快速、低延迟的 AI 推理，减少对云计算的依赖，同时最大化性能。

本文档提供了在 reComputer Jetson 设备上部署 DeepSeek 模型的分步指南，以实现高效的边缘 AI 推理。

前置条件​

  • 配备 8GB 以上内存的 Jetson 设备。
  • 设备需预先刷入 Jetpack 5.1.1 或更高版本的操作系统。
note

在本文档中，我们将使用 reComputer J4012 - Edge AI Computer with NVIDIA® Jetson™ Orin™ NX 16GB 完成相关任务，但您也可以尝试使用其他 Jetson 设备。

立即获取 🖱️

快速开始​

硬件连接​

  • 将 Jetson 设备连接到网络、鼠标、键盘和显示器。
note

当然，您也可以通过本地网络使用 SSH 远程访问 Jetson 设备。

安装 Ollama 推理引擎​

Ollama 是一款轻量级高效的推理引擎，专为本地运行大型语言模型（LLMs）而设计，设置简单。它通过提供易于使用的界面和针对各种硬件配置（包括 Jetson 设备）的优化运行时，简化了 AI 模型的部署。

要安装 Ollama，请在 Jetson 设备的终端窗口中运行以下命令：

curl -fsSL https://ollama.com/install.sh | sh

此脚本将自动下载并设置 Ollama，使您的系统能够无缝地进行本地 AI 推理。

加载并运行 DeepSeek​

Ollama 目前支持多个版本的 DeepSeek 模型，允许我们根据需求部署不同大小的模型。为了演示，我们将使用默认的 DeepSeek-R1 7B 模型。

ollama run deepseek-r1

此命令将下载并准备 DeepSeek 模型以供 Ollama 进行本地推理。 模型加载完成后，您可以在终端窗口中输入查询。

效果演示​

在演示视频中，Jetson 设备仅以 20W 功耗运行，却实现了令人印象深刻的推理速度。

参考资料​

技术支持与产品讨论​

感谢您选择我们的产品！我们为您提供多种支持渠道，确保您使用我们的产品时体验顺畅。我们提供多种沟通方式，以满足不同的偏好和需求。

Loading Comments...