Skip to main content

Comenzando con Roboflow Inference en Dispositivos NVIDIA® Jetson

Esta guía wiki explica cómo desplegar fácilmente modelos de IA usando el servidor de inferencia de Roboflow ejecutándose en dispositivos NVIDIA Jetson. ¡Aquí usaremos Roboflow Universe para seleccionar un modelo ya entrenado, desplegar el modelo al dispositivo Jetson y realizar inferencia en una transmisión de webcam en vivo!

Roboflow Inference es la forma más fácil de usar y desplegar modelos de visión por computadora, proporcionando una API HTTP de Roboflow utilizada para ejecutar inferencia. Roboflow inference soporta:

  • Detección de objetos
  • Segmentación de imágenes
  • Clasificación de imágenes

y modelos fundamentales como CLIP y SAM.

Prerrequisitos​

  • PC Host Ubuntu (nativo o VM usando VMware Workstation Player)
  • reComputer Jetson o cualquier otro dispositivo NVIDIA Jetson
note

Esta wiki ha sido probada y verificada en un reComputer J4012 y reComputer Industrial J4012 alimentado por el módulo NVIDIA Jetson Orin NX 16GB

Flashear JetPack a Jetson​

Ahora necesitas asegurarte de que el dispositivo Jetson esté flasheado con un sistema JetPack. Puedes usar NVIDIA SDK Manager o línea de comandos para flashear JetPack al dispositivo.

Para las guías de flasheo de dispositivos Seeed alimentados por Jetson, por favor consulta los siguientes enlaces:

note

Asegúrate de flashear la versión 5.1.1 de JetPack porque esa es la versión que hemos verificado para esta wiki

Accede a más de 50,000 Modelos en Roboflow Universe​

Roboflow ofrece más de 50,000 modelos de IA listos para usar para que todos puedan comenzar con el despliegue de visión por computadora de la manera más rápida. Puedes explorarlos todos en Roboflow Universe. Roboflow Universe también ofrece más de 200,000 conjuntos de datos donde puedes usar estos conjuntos de datos para entrenar un modelo en los servidores en la nube de Roboflow o traer tu propio conjunto de datos, usar la herramienta de anotación de imágenes en línea de Roboflow y comenzar a entrenar.

  • Paso 1: Usaremos un modelo de detección de personas de Roboflow Universe como referencia

  • Paso 2: Aquí el nombre del modelo seguirá el formato "nombre_modelo/versión". En este caso, es people-detection-general/7. Usaremos este nombre de modelo más adelante en esta wiki cuando comencemos la inferencia.

Obtener Clave API de Roboflow​

Ahora necesitamos obtener una clave API de Roboflow para que funcione el servidor de inferencia de Roboflow.

  • Paso 1: Regístrate para una nueva cuenta de Roboflow ingresando tus credenciales

  • Paso 2: Inicia sesión en la cuenta, navega a Projects > Workspaces > <nombre_de_tu_workspace> > Roboflow API, y haz clic en Copy junto a la sección "Private API Key"

Guarda esta clave privada porque la necesitaremos más adelante.

Ejecutando el Servidor de Inferencia de Roboflow​

Puedes comenzar con Roboflow inference en NVIDIA Jetson de 3 maneras diferentes.

  1. Usando paquete pip - Usar el paquete pip será la forma más rápida de comenzar, sin embargo necesitarás instalar componentes SDK (CUDA, cuDNN, TensorRT) junto con JetPack.
  2. Usando Docker hub - Usar Docker hub será un poco lento porque primero descargará una imagen de Docker que es de alrededor de 19GB. sin embargo no necesitas instalar componentes SDK porque la imagen de Docker ya los tendrá.
  3. Usando construcción local de Docker - Usar construcción local de Docker es una extensión del método de Docker hub donde puedes cambiar el código fuente para la imagen de Docker según tu aplicación deseada (como habilitar precisión de TensorRT con INT8).

Antes de continuar con la ejecución del servidor de inferencia de Roboflow, necesitas obtener un modelo de IA para hacer inferencia, y una clave API de Roboflow. Primero revisaremos eso.

Usando paquete pip​

  • Paso 1: Si solo flasheas el dispositivo Jetson con Jetson L4T, necesitas instalar primero los componentes SDK
sudo apt update
sudo apt install nvidia-jetpack -y
  • Paso 2: Ejecuta los siguientes comandos en la terminal para instalar el paquete pip del servidor de inferencia de Roboflow
sudo apt update
sudo apt install python3-pip -y
pip install inference-gpu

Paso 3: Ejecuta lo siguiente y reemplaza con tu Clave de API Privada de Roboflow que obtuviste anteriormente

export ROBOFLOW_API_KEY=your_key_here
  • Paso 4: Conecta una cámara web al dispositivo Jetson y ejecuta el siguiente script de Python para ejecutar un modelo de detección de personas de código abierto en tu transmisión de cámara web
webcam.py
import cv2
import inference
import supervision as sv

annotator = sv.BoxAnnotator()

inference.Stream(
    source="webcam", 
    model=" people-detection-general/7", 

    output_channel_order="BGR",
    use_main_thread=True, 
    
    on_prediction=lambda predictions, image: (
        print(predictions), 
        
        cv2.imshow(
            "Prediction", 
            annotator.annotate(
                scene=image, 
                detections=sv.Detections.from_roboflow(predictions)
            )
        ),
        cv2.waitKey(1)
    )
)

Finalmente, verás el resultado como sigue

Aprende más​

Roboflow ofrece documentación muy detallada y completa. Por lo tanto, es altamente recomendable revisarla aquí.

Soporte Técnico y Discusión del Producto​

¡Gracias por elegir nuestros productos! Estamos aquí para brindarte diferentes tipos de soporte para asegurar que tu experiencia con nuestros productos sea lo más fluida posible. Ofrecemos varios canales de comunicación para satisfacer diferentes preferencias y necesidades.

Loading Comments...