Pular para o conteúdo principal

Implantar Depth Anything V3 no Jetson AGX Orin

Saída de exemplo do Depth Anything 3: o quadro de entrada, um mapa de profundidade colorido e a nuvem de pontos resultante

Introdução​

Depth Anything V3 estima profundidade a partir de uma única imagem RGB, então um robô com uma câmera obtém um mapa de profundidade denso sem precisar de um sistema estéreo ou de um sensor de profundidade. No Jetson AGX Orin o modelo é convertido para um engine TensorRT e publica profundidade em um tópico ROS 2, onde um detector ou planejador a jusante pode utilizá-la. As seções abaixo configuram CUDA e ROS 2, convertem ONNX para um engine TensorRT e o executam com entrada de câmera e de vídeo.

Placa carrier reComputer Mini J501 para Jetson AGX Orin, foto do produto

Pré-requisitos​

Estimativa de profundidade em tempo real a partir de uma câmera USB rodando no reComputer Mini J501

Destaques Técnicos​

  • Estimativa de Profundidade Monocular de Alta Qualidade: Depth Anything V3 gera mapas de profundidade precisos a partir de imagens RGB únicas, sem exigir sensores de profundidade especializados ou configurações de câmera estéreo.

  • Otimizado para Implantação em Borda: O modelo é especificamente projetado para inferência eficiente em dispositivos de borda como o Jetson AGX Orin, com otimização TensorRT para desempenho máximo.

  • Processamento em Tempo Real: Capaz de processar imagens de alta resolução em tempo real, tornando-o adequado para navegação autônoma, desvio de obstáculos e tarefas de manipulação robótica.

  • Integração com ROS2: Fornece suporte nativo ao ROS2 Humble com publicação de mapas de profundidade e nuvens de pontos para integração perfeita em sistemas robóticos.

  • Suporte Flexível de Entrada: Funciona com várias fontes de entrada, incluindo câmeras USB, tópicos de imagem ROS e fluxos de vídeo pré-gravados.

Configuração do Ambiente​

**Passo 1.**Instalar Dependências

sudo apt update
sudo apt install -y \
build-essential \
cmake \
git \
libopencv-dev \
python3-pip \
python3-colcon-common-extensions \
v4l-utils

Passo 2. Instalar Dependências Python

pip3 install numpy opencv-python

Passo 3. Configurar Variáveis de Ambiente do CUDA

# Add CUDA environment variables to .bashrc
echo '
# CUDA Environment
export CUDA_HOME=/usr/local/cuda
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
export CUDACXX=$CUDA_HOME/bin/nvcc
' >> ~/.bashrc

# Reload shell configuration
source ~/.bashrc

# Verify CUDA installation
nvcc --version
Saída de nvcc --version confirmando que o toolkit CUDA está no PATH

Passo 4. Instalar Pacote ROS2 de Câmera USB

# Install USB camera driver for ROS2
sudo apt install -y ros-humble-usb-cam

# Install additional ROS2 dependencies
sudo apt install -y ros-humble-cv-bridge
sudo apt install -y ros-humble-image-transport
sudo apt install -y ros-humble-image-geometry
sudo apt install -y ros-humble-cv-bridge ros-humble-image-transport ros-humble-rviz2

Passo 5. Configurar Ambiente ROS2 do Depth Anything V3

# Clone the repository
git clone https://github.com/zibochen6/ros2-depth-anything-v3-trt.git

# Navigate to the project directory
cd ros2-depth-anything-v3-trt

Passo 6. Compilar o Pacote ROS2

# Build the depth_anything_v3 package with Release configuration
colcon build --packages-select depth_anything_v3 --cmake-args -DCMAKE_BUILD_TYPE=Release

# Source the workspace
source install/setup.bash

Passo 7. Gerar Engines TensorRT

nota

Antes de gerar o arquivo de engine, você precisa baixar antecipadamente o modelo .onnx do Depth Anything V3 e colocá-lo no diretório ros2-depth-anything-v3-trt/onnx.

# Make the engine generation script executable
chmod +x generate_engines.sh

# Generate TensorRT engines from ONNX models
./generate_engines.sh onnx

Por favor, seja paciente enquanto o arquivo .engine está sendo gerado. Quando a conversão for concluída, dois arquivos serão criados no diretório onnx como a seguir.

Diretório onnx listando os arquivos .engine TensorRT gerados ao lado dos modelos ONNX

Executando a Estimativa de Profundidade​

Câmera para Estimativa de Profundidade​

Passo 1. Conectar Câmera USB

Conecte sua câmera USB ao dispositivo Jetson AGX Orin. Verifique se a câmera foi detectada:

# Check if USB camera is detected
ls /dev/video*

Saída Esperada:

/dev/video0  /dev/video1

Passo 2. Calibração da câmera

O pacote v4l2_camera atua como uma ponte entre a API Linux Video4Linux2 (V4L2) e tópicos ROS 2, publicando mensagens de imagem e informações de câmera que podem ser facilmente usadas em pipelines de calibração.

Instalar Pacote de Calibração de Câmera:

# Install Camera Calibration Package
sudo apt install ros-humble-camera-calibration

# v4l2_camera is the official ROS2 maintained node that can directly publish USB camera images
sudo apt install ros-${ROS_DISTRO}-v4l2-camera

Iniciar nó da câmera:

# Launch camera node
ros2 run v4l2_camera v4l2_camera_node \
--ros-args \
-p image_size:=[640,480] \
-p pixel_format:=YUYV

Os tópicos padrão publicados são:

  • /image_raw - Imagem bruta da câmera
  • /camera - Informações da câmera
Nó v4l2_camera em execução com os tópicos /image_raw e /camera publicados

Execute a calibração da câmera:

# In another terminal
ros2 run camera_calibration cameracalibrator \
--size 8x6 \
--square 0.025 \
--fisheye-recompute-extrinsicsts \
--fisheye-fix-skew \
--ros-args --remap image:=/image_raw --remap camera:=/v4l2_camera
nota
  • --size 8x6 refere-se ao número de cantos internos (8×6 = 48 cantos para uma grade 9×7)
  • --square 0.025 refere-se ao tamanho do quadrado em metros (25mm)
  • Mova a câmera para capturar imagens de diferentes ângulos até que o botão CALIBRATE acenda
Janela do camera_calibrator com a visualização do tabuleiro de xadrez e o botão CALIBRATE

Após uma calibração bem-sucedida, você obterá parâmetros da câmera no terminal semelhantes a:

Parâmetros intrínsecos da câmera e coeficientes de distorção impressos após o término da calibração

Você pode consultar este wiki para calibração de câmera. Escreva os parâmetros calibrados no arquivo camera_info_example.yaml

Passo 3. Iniciar Nó de Câmera USB

Salve os parâmetros de calibração no arquivo camera_info_example.yaml para retificar a distorção olho de peixe da câmera GMSL. Em seguida, execute o seguinte comando para estimativa de profundidade em tempo real:

#Start the script for camera depth estimation
CAMERA_INFO_FILE=camera_info_example.yaml ENABLE_UNDISTORTION=1 ./run_camera_depth.sh

Vídeo para Estimativa de Profundidade​

Passo 1. Preparar Arquivo de Vídeo

Prepare um arquivo de vídeo para estimativa de profundidade.

Passo 2. Iniciar Nó de Estimativa de Profundidade em Vídeo

#Start the script for video depth estimation
./run_video_depth.sh
RViz mostrando o mapa de profundidade, a visualização da câmera e a nuvem de pontos construída a partir do quadro de vídeo

Referências​

FAQ​

Para qual versão do JetPack esta compilação é direcionada? JetPack 6.2 no Jetson AGX Orin com a placa carrier reComputer Mini J501, além do ROS 2 Humble. Os engines TensorRT são gerados no próprio dispositivo, então uma versão diferente do JetPack significa regenerá-los a partir dos modelos ONNX.

Eu preciso de uma câmera de profundidade ou de um sistema estéreo? Não. Depth Anything V3 prediz profundidade a partir de um único quadro RGB, então uma câmera USB é suficiente. Como a profundidade vem da aparência em vez de um sinal medido, verifique a escala absoluta em relação a um objeto conhecido antes de fornecê-la a um planejador.

Onde o modelo ONNX deve ser colocado? Coloque o arquivo .onnx em ros2-depth-anything-v3-trt/onnx e execute ./generate_engines.sh onnx. Dois arquivos .engine aparecerão nesse diretório quando a conversão terminar.

O mapa de profundidade parece distorcido perto das bordas do quadro. O que devo mudar? Isso é distorção da lente. Execute camera_calibrator, escreva os parâmetros intrínsecos resultantes em camera_info_example.yaml, depois inicie com CAMERA_INFO_FILE=camera_info_example.yaml ENABLE_UNDISTORTION=1.

Ele pode processar um vídeo gravado em vez de uma câmera ao vivo? Sim. ./run_video_depth.sh executa o mesmo engine em um arquivo de vídeo, que é a maneira mais rápida de verificar a qualidade da saída antes de montar uma câmera no robô.

Recursos Relacionados​

Suporte Técnico e Discussão de Produtos​

Obrigado por escolher nossos produtos! Estamos aqui para oferecer diferentes tipos de suporte para garantir que sua experiência com nossos produtos seja a mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.

Loading Comments...