Pular para o conteúdo principal

Primeiros passos com inferência Roboflow em dispositivos NVIDIA® Jetson

Este guia wiki explica como fazer o deploy de modelos de IA de forma simples usando o servidor de inferência do Roboflow em execução em dispositivos NVIDIA Jetson. Aqui usaremos o Roboflow Universe para selecionar um modelo já treinado, fazer o deploy do modelo no dispositivo Jetson e executar inferência em um stream de webcam ao vivo!

Roboflow Inference é a forma mais simples de usar e fazer deploy de modelos de visão computacional, fornecendo uma API HTTP do Roboflow usada para executar inferência. A inferência Roboflow oferece suporte a:

  • Detecção de objetos
  • Segmentação de imagem
  • Classificação de imagem

e modelos base como CLIP e SAM.

Pré-requisitos​

  • PC host com Ubuntu (nativo ou VM usando VMware Workstation Player)
  • reComputer Jetson ou qualquer outro dispositivo NVIDIA Jetson
nota

Este wiki foi testado e verificado em um reComputer J4012 e reComputer Industrial J4012 alimentados pelo módulo NVIDIA Jetson Orin NX 16GB

Gravar o JetPack no Jetson​

Agora você precisa garantir que o dispositivo Jetson esteja gravado com um sistema JetPack. Você pode usar o NVIDIA SDK Manager ou a linha de comando para gravar o JetPack no dispositivo.

Para guias de gravação de dispositivos Jetson alimentados pela Seeed, consulte os links abaixo:

nota

Certifique-se de gravar a versão 5.1.1 do JetPack porque essa é a versão que verificamos para este wiki

Acesse mais de 50.000 modelos no Roboflow Universe​

O Roboflow oferece mais de 50.000 modelos de IA prontos para uso para que qualquer pessoa possa começar com deploy de visão computacional da forma mais rápida. Você pode explorá-los todos no Roboflow Universe. O Roboflow Universe também oferece mais de 200.000 conjuntos de dados, nos quais você pode usar esses conjuntos de dados para treinar um modelo nos servidores em nuvem do Roboflow ou então trazer seu próprio conjunto de dados, usar a ferramenta online de anotação de imagens do Roboflow e iniciar o treinamento.

  • Passo 1: Usaremos um modelo de detecção de pessoas do Roboflow Universe como referência

  • Passo 2: Aqui o nome do modelo seguirá o formato "model_name/version". Neste caso, é people-detection-general/7. Usaremos este nome de modelo mais tarde neste wiki quando começarmos a inferência.

Obter a chave de API do Roboflow​

Agora precisamos obter uma chave de API do Roboflow para que o servidor de inferência do Roboflow funcione.

  • Passo 1: Cadastre-se para uma nova conta Roboflow inserindo suas credenciais

  • Passo 2: Faça login na conta, navegue até Projects > Workspaces > <your_workspace_name> > Roboflow API e clique em Copy ao lado da seção "Private API Key"

Guarde essa chave privada porque vamos precisar dela mais tarde.

Executando o servidor de inferência Roboflow​

Você pode começar com a inferência Roboflow em NVIDIA Jetson de 3 maneiras diferentes.

  1. Usando pacote pip - Usar o pacote pip será a forma mais rápida de começar, porém você precisará instalar componentes do SDK (CUDA, cuDNN, TensorRT) junto com o JetPack.
  2. Usando Docker Hub - Usar o Docker Hub será um pouco mais lento porque primeiro ele fará o pull de uma imagem Docker de cerca de 19GB. No entanto, você não precisa instalar componentes do SDK porque a imagem Docker já os terá.
  3. Usando build Docker local - Usar build Docker local é uma extensão do método Docker Hub, em que você pode alterar o código-fonte da imagem Docker de acordo com a aplicação desejada (como habilitar precisão TensorRT com INT8).

Antes de prosseguir para executar o servidor de inferência Roboflow, você precisa obter um modelo de IA para fazer a inferência e uma chave de API do Roboflow. Primeiro passaremos por isso.

Usando pacote pip​

  • Passo 1: Se você apenas gravar o dispositivo Jetson com Jetson L4T, precisará instalar primeiro os componentes do SDK
sudo apt update
sudo apt install nvidia-jetpack -y
  • Passo 2: Execute os comandos abaixo no terminal para instalar o pacote pip do servidor de inferência Roboflow
sudo apt update
sudo apt install python3-pip -y
pip install inference-gpu
  • Passo 3: Execute o comando abaixo e substitua pela sua Private API Key do Roboflow que você obteve antes
export ROBOFLOW_API_KEY=your_key_here
  • Passo 4: Conecte uma webcam ao dispositivo Jetson e execute o seguinte script Python para rodar um modelo open source de detecção de pessoas no stream da sua webcam
webcam.py
import cv2
import inference
import supervision as sv

annotator = sv.BoxAnnotator()

inference.Stream(
    source="webcam", 
    model=" people-detection-general/7", 

    output_channel_order="BGR",
    use_main_thread=True, 

    on_prediction=lambda predictions, image: (
        print(predictions), 

        cv2.imshow(
            "Prediction", 
            annotator.annotate(
                scene=image, 
                detections=sv.Detections.from_roboflow(predictions)
            )
        ),
        cv2.waitKey(1)
    )
)

Por fim, você verá o resultado a seguir

Saiba mais​

Roboflow oferece uma documentação muito detalhada e abrangente. Portanto, é altamente recomendável consultá-la aqui.

Suporte Técnico & Discussão de Produtos​

Obrigado por escolher nossos produtos! Estamos aqui para fornecer diferentes tipos de suporte para garantir que sua experiência com nossos produtos seja o mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.

Loading Comments...