Skip to main content

Desplegar Rápidamente DeepSeek en reComputer Jetson

Introducción​

DeepSeek es una suite de modelos de IA de vanguardia optimizada para eficiencia, precisión y procesamiento en tiempo real. Con optimización avanzada para computación en el borde, DeepSeek permite inferencia de IA rápida y de baja latencia directamente en dispositivos Jetson, reduciendo la dependencia de la computación en la nube mientras maximiza el rendimiento.

Esta wiki proporciona una guía paso a paso para desplegar modelos DeepSeek en dispositivos reComputer Jetson para inferencia de IA eficiente en el borde.

Prerrequisitos​

  • Dispositivo Jetson con más de 8GB de memoria.
  • El dispositivo jetson necesita estar pre-flasheado con el sistema operativo jetpack 5.1.1 o posterior.
note

En esta wiki, lograremos las siguientes tareas usando el reComputer J4012 - Computadora de IA en el Borde con NVIDIA® Jetson™ Orin™ NX 16GB, pero también puedes intentar usar otros dispositivos Jetson.

Obtener Uno Ahora 🖱️

Comenzando​

Conexión de Hardware​

  • Conecta el dispositivo Jetson a la red, ratón, teclado y monitor.
note

Por supuesto, también puedes acceder remotamente al dispositivo Jetson vía SSH a través de la red local.

Instalar Motor de Inferencia Ollama​

Ollama es un motor de inferencia ligero y eficiente diseñado para ejecutar modelos de lenguaje grandes (LLMs) localmente con configuración mínima. Simplifica el despliegue de modelos de IA proporcionando una interfaz fácil de usar y tiempo de ejecución optimizado para varias configuraciones de hardware, incluyendo dispositivos Jetson.

Para instalar Ollama, abre la ventana de terminal en el dispositivo Jetson y ejecuta el siguiente comando:

curl -fsSL https://ollama.com/install.sh | sh

Este script descargará automáticamente y configurará Ollama en tu sistema, habilitando inferencia local sin problemas para aplicaciones de IA.

Cargar y Ejecutar DeepSeek​

Ollama ahora soporta varias versiones de los modelos DeepSeek, permitiéndonos desplegar diferentes tamaños de modelo basados en nuestras necesidades. Para propósitos de demostración, usaremos el modelo predeterminado DeepSeek-R1 7B.

ollama run deepseek-r1

Este comando descarga y prepara el modelo DeepSeek para inferencia local usando Ollama. Una vez que el modelo haya terminado de cargar, puedes ingresar tu consulta en la ventana de terminal.

Demostración de Efectos​

En el video de demostración, el dispositivo Jetson opera a solo 20W pero logra una velocidad de inferencia impresionante.

Referencias​

Soporte Técnico y Discusión de Productos​

¡Gracias por elegir nuestros productos! Estamos aquí para proporcionarte diferentes tipos de soporte para asegurar que tu experiencia con nuestros productos sea lo más fluida posible. Ofrecemos varios canales de comunicación para atender diferentes preferencias y necesidades.

Loading Comments...