reComputer Super vs Classic Rendimiento de IA de Nueva Generación en Inferencia Edge
Introducción
La Serie reComputer Super potencia el reComputer Classic, ofreciendo hasta un aumento de 1.7x de 157 TOPS en rendimiento de IA. Este wiki compara las diferencias de rendimiento entre el reComputer Super y reComputer Classic en generación de texto de IA y procesamiento de video de IA. Usando el módulo NVIDIA Jetson Orin NX 16GB como plataforma de prueba, demuestra claramente que el reComputer Super ofrece un rendimiento superior comparado con el reComputer Classic.
Generación de Texto de IA
En esta sección, usamos Ollama para cargar el modelo deepseek-r1:7b y comparamos la velocidad de inferencia del modelo en diferentes dispositivos. Es evidente que el reComputer Super tiene una mejora en velocidad de inferencia y frecuencia de GPU respecto al reComputer Classic.
Los pasos principales para desplegar este modelo son:
Paso 1. Instalar jetson-containers.
Paso 2. Entrar al contenedor Docker para ejecutar el servicio Ollama.
Paso 3. Descargar el modelo deepseek-r1:7b desde Ollama.
Para facilitar la demostración, ingresamos "tell me a story." en la terminal y le pedimos a DeepSeek que generara una historia corta para nosotros. Debido a la aleatoriedad de los resultados de generación producidos por el modelo, los resultados que obtenemos generalmente no serán los mismos. Cuando podemos medir el rendimiento de la inferencia del dispositivo basándonos en la velocidad a la que el modelo genera tokens.(Como se demuestra en el video, se utiliza el indicador eval rate)
Si también deseas desplegar Ollama en tu dispositivo Jetson, por favor consulta este tutorial para aprender cómo desplegarlo rápidamente en Nvidia Jetson.
Procesamiento de Video con IA
En esta sección, desplegamos el modelo de detección de objetos YOLOv11 en dos dispositivos y comparamos las diferencias de rendimiento entre ellos al procesar entradas de video. Los resultados indican que el reComputer Super es capaz de procesar aproximadamente 2.37 veces más imágenes por segundo que el reComputer Classic.
Consulta este repositorio para desplegar YOLOv11 en tus dispositivos como nosotros. Los pasos principales para desplegar este modelo son:
Paso 1. Clona este repositorio de GitHub.
Paso 2. Descarga el archivo de pesos preentrenados yolo11n.pt desde ultralytics.
Paso 3. Sigue este repositorio para compilar el modelo y ejecutar la inferencia.
Paso 4. Nos referimos al script yolo11_det_trt.py en este repositorio para ejecutar la inferencia.
El FPS promedio mostrado en la terminal refleja la velocidad de inferencia pura del modelo, indicando directamente la diferencia en la potencia de cálculo de los dispositivos, por lo que el reComputer Super muestra un FPS significativamente más alto. Sin embargo, el FPS en tiempo real que se muestra en la esquina superior izquierda de la ventana de visualización representa la velocidad de fotogramas de toda la cadena de procesamiento, incluyendo captura de imagen, preprocesamiento, inferencia, postprocesamiento y visualización. Este FPS se ve afectado por múltiples factores como la tasa de fotogramas de la cámara, la tasa de actualización de la pantalla y los límites de FPS del programa, haciendo que el FPS mostrado en ambos dispositivos sea similar y enmascare la diferencia en el rendimiento de inferencia. Por lo tanto, el rendimiento del dispositivo debe evaluarse en función del FPS promedio de inferencia que se muestra en la terminal y no solo en el FPS en tiempo real mostrado.
Referencias
- https://www.jetson-ai-lab.com/tutorial_ollama.html
- https://www.deepseek.com/
- https://wiki.seeedstudio.com/es/deploy_deepseek_on_jetson/
- https://www.seeedstudio.com/edge-ai/generative-ai
- https://github.com/ultralytics/ultralytics
- https://github.com/wang-xinyu/tensorrtx?tab=readme-ov-file
Soporte Técnico y Discusión de Productos
¡Gracias por elegir nuestros productos! Estamos aquí para brindarle diferentes tipos de soporte para asegurar que su experiencia con nuestros productos sea lo más fluida posible. Ofrecemos varios canales de comunicación para satisfacer diferentes preferencias y necesidades.