Skip to main content

Primeros pasos con Gapi en dispositivos NVIDIA® Jetson

Gapi es una puerta de enlace API integrable que crea integraciones de transmisión entre microservicios de IA y los sistemas que los usuarios aprovechan todos los días.

El objetivo del proyecto es acelerar la velocidad de creación de pilotos y demostraciones de los logros de Jetson AI Lab en entornos del mundo real. ¡La IA generativa "en el dispositivo" no significa que tenga que vivir en una isla!

  • Motor de flujo de trabajo con interfaz de usuario de código reducido con docenas de integraciones abiertas y clientes personalizables para la web móvil y de escritorio.
  • Marco de microservicios para envolver contenedores Jetson (Ollama, Whisper, Piper TTS, etc. ya están listos, y habrá más por venir). O empaqueta tus propios modelos/código e intégralos en flujos de trabajo.
  • La mensajería híbrida binaria+json en tiempo real suaviza las llamadas dentro del servicio y reduce la latencia.
  • Un camino rápido para demostrar el valor generativo de la IA a las partes interesadas en tu entorno real.

Servidor Gapi​

Software de puerta de enlace API integrable que se ejecuta en segundo plano con una interfaz de usuario de flujo de trabajo con poco código para realizar pruebas. El servidor es un centro de mensajes y una máquina de estado para los 'nodos' de flujo de trabajo que se comunican con Micro Services. Piensa en ello como tejido conectivo para aplicaciones.

:::nota Un microservicio es un proceso que ejecuta algunos scripts de Python wrapper que integran códigos/modelos personalizados en flujos de trabajo mediante una API de transmisión. :::

  • Gapi Server puede ejecutarse en cualquier Jetson Orin o realmente en cualquier computadora, ya que los Micro Servicios se conectan salientes a través de sockets web seguros. No utiliza ningún recurso de GPU. También hay una pequeña versiones de demostración para omitir la instalación del servidor (pero aún necesitarás ejecutar tus propios microservicios).
  • Página del proyecto Gapi
  • Gapi Github
  • Gapi Docs
  • Gapi Hosted Demo

Requerimiento​

  • Nvidia Jetson Orin
  • Docker
  • 1.3GB de almacenamiento disponibles

Instalar Gapi en la Jetson​

Sigue estos pasos para instalar Gapi en la Jetson:

mkdir ~/gapiData && cd ~/gapiData
curl -L https://raw.githubusercontent.com/genai-nerds/Gapi/main/gapiConfigs.zip -o gapiConfigs.zip
unzip -q gapiConfigs.zip
docker run -d --name gapi --network host -v ~/gapiData:/opt/gapi/vdata genainerds/gapi:arm64 /bin/bash -c "cd /opt/gapi/bin && ./startGapi.sh"
echo "You may need to hit Enter now. Afterwards the Docker container 'gapi' s

Iniciar sesión

  • Pega esta dirección en el navegador: http://[host-device-ip]:8090
  • Usuario: root
  • Contraseña: !gapi2024
  • ¡Cambia la contraseña en Configuración! Docs muestra cómo agregar un certificado SSL.

Flujos de trabajo​

Los flujos de trabajo conectan visualmente la ejecución y el flujo de datos entre nodos.

Una transacción (o disparo único) tiene datos de "entrada continua" que se acumulan a medida que los pasos de nodo a nodo se comunican con microservicios y la API. Todos los nodos disfrutan de variables y control de flujo utilizando conceptos familiares de json y javascript.

Cada Nodo puede agregar o hacer referencia a los datos continuos en la Transacción mientras toma decisiones a lo largo del camino.

Observa las transacciones en vivo a medida que comienzan desde los clientes, los webhooks y los mensajes publicados de los microservicios con comentarios visuales y depuración.

Micro Servicios​

Un microservicio es un proceso que ejecuta un script Python wrapper que integra tu código/modelos personalizados para que puedan integrarse en los flujos de trabajo de Gapi.

Puedes ejecutar un Micro Servicio donde quieras y conectarlo a un Servidor Gapi a través del protocolo de transmisión de mensajes híbrido binario+json.

Hay algunos "microservicios comunitarios" listos para usar que integramos, probamos y empaquetamos en imágenes de Docker. Cuando los ejecutas, se integran automáticamente, cargan las capas de NVIDIA correctamente y ofrecen registro en el sistema host.

Aún mejor, ¡crea el tuyo propio! Simplemente implementa un controlador Python on_message para procesar solicitudes y responder. El resto lo manejamos por ti.

Pienss en un microservicio como un simple contenedor de algún código o modelo que tengas. Funciona igual que cualquier otro Nodo dentro de un Workflow. Cuando sea el turno de tu Micro Nodo de Servicio, se llamará a su función on_message. Su secuencia de comandos obtiene los datos continuos de la transacción para el contexto y luego tu publicas sus datos directamente nuevamente en el flujo.

Ejecución de los microservicios comunitarios​

Requisitos para microservicios comunitarios

  1. Cualquier Nvidia Jetson Orin
  2. Suficiente espacio de almacenamiento:
    • Literalmente 4 KB para tu propio Micro Servicio
    • Entre ~4 GB y ~10 GB para cada microservicio comunitario

Pasos:

  1. Inicia sesión y ve a la pestaña Micro Servicios
  2. Sigue las instrucciones en el cuadro azul en esa página para descargar tu configuración personalizada.
  3. Luego sigue las instrucciones a continuación para instalar el Micro Servicio que deseas

¡Felicitaciones! Puedes seguir los consejos sobre el flujo de trabajo ahora​

Soporte Tech y discusión del producto​

¡Gracias por elegir nuestros productos! Estamos aquí para darte soporte y asegurar que tu experiencia con nuestros productos sea la mejor posible. Tenemos diversos canales de comunicación para adaptarnos distintas preferencias y necesidades.

Loading Comments...