reComputer Super vs Classic Desempenho de IA de Próxima Geração em Inferência de Borda
Introdução
A reComputer Super Série turbina a reComputer Classic, oferecendo até 1,7x de aumento, chegando a 157 TOPS em desempenho de IA. Este wiki compara as diferenças de desempenho entre o reComputer Super e o reComputer Classic em geração de texto com IA e processamento de vídeo com IA. Usando o módulo NVIDIA Jetson Orin NX 16GB como plataforma de teste, demonstra claramente que o reComputer Super oferece desempenho superior em comparação com o reComputer Classic.
Geração de Texto com IA
Nesta seção, usamos o Ollama para carregar o modelo deepseek-r1:7b e comparamos a velocidade de inferência do modelo em diferentes dispositivos. É evidente que o reComputer Super apresenta uma melhoria na velocidade de inferência e na frequência da GPU em relação ao reComputer Classic.
As principais etapas para implantar este modelo são:
Etapa 1. Instalar o jetson-containers.
Etapa 2. Entrar no contêiner Docker para executar o serviço Ollama.
Etapa 3. Fazer o pull do modelo deepseek-r1:7b a partir do Ollama.
Para facilitar a demonstração, inserimos "tell me a story." no terminal e pedimos ao DeepSeek para gerar uma pequena história para nós. Devido à aleatoriedade dos resultados de geração produzidos pelo modelo, os resultados que obtemos geralmente não serão os mesmos. Podemos medir o desempenho da inferência do dispositivo com base na velocidade com que o modelo gera tokens. (Conforme demonstrado no vídeo, o indicador eval rate é utilizado)
Se você também quiser implantar o Ollama no seu dispositivo Jetson, consulte este tutorial para aprender como implantá‑lo rapidamente no Nvidia Jetson.
Processamento de Vídeo com IA
Nesta seção, implantamos o modelo de detecção de objetos YOLOv11 em dois dispositivos e comparamos as diferenças de desempenho entre eles ao processar entradas de vídeo. Os resultados indicam que o reComputer Super é capaz de processar aproximadamente 2,37 vezes mais imagens por segundo do que o reComputer Classic.
Consulte este repositório para implantar o YOLOv11 em seus dispositivos como nós fizemos. As principais etapas para implantar este modelo são:
Etapa 1. Fazer o clone deste repositório GitHub.
Etapa 2. Baixar o arquivo de pesos pré‑treinados yolo11n.pt a partir do ultralytics.
Etapa 3. Seguir este repositório para compilar o modelo e executar a inferência.
Etapa 4. Seguimos o script yolo11_det_trt.py neste repositório para executar a inferência.
O FPS médio exibido no terminal reflete a velocidade de inferência pura do modelo, indicando diretamente a diferença na capacidade de computação do dispositivo, por isso o reComputer Super apresenta um FPS significativamente maior. No entanto, o FPS em tempo real exibido no canto superior esquerdo da janela de exibição representa a taxa de quadros de todo o pipeline de processamento, incluindo captura de imagem, pré‑processamento, inferência, pós‑processamento e exibição. Esse FPS é afetado por múltiplos fatores, como taxa de quadros da câmera, taxa de atualização da tela e limites de taxa de quadros do programa, fazendo com que o FPS exibido em ambos os dispositivos seja semelhante e masque a diferença de desempenho de inferência. Portanto, o desempenho do dispositivo deve ser avaliado com base no FPS médio de inferência exibido no terminal, em vez de se basear apenas no FPS apresentado em tempo real na tela.
Referências
- https://www.jetson-ai-lab.com/tutorial_ollama.html
- https://www.deepseek.com/
- https://wiki.seeedstudio.com/pt-br/deploy_deepseek_on_jetson/
- https://www.seeedstudio.com/edge-ai/generative-ai
- https://github.com/ultralytics/ultralytics
- https://github.com/wang-xinyu/tensorrtx?tab=readme-ov-file
Suporte Técnico & Discussão de Produto
Obrigado por escolher nossos produtos! Estamos aqui para lhe fornecer diferentes tipos de suporte para garantir que sua experiência com nossos produtos seja a mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.