Skip to main content

Primeros pasos con Cochl.Sense en dispositivos NVIDIA® Jetson

En este tutorial, vas a construir un sistema de reconocimiento de sonido que se ejecuta en la placa NVIDIA Jetson usando Cochl.Sense. Cochl.Sense es una plataforma de desarrollo de Machine Listening para desplegar aplicaciones de aprendizaje profundo en dispositivos edge como los dispositivos NVIDIA® Jetson.

Machine Listening, también conocido como análisis de audio o reconocimiento de sonido, es un campo en rápido crecimiento que utiliza inteligencia artificial y aprendizaje automático para analizar y comprender datos de audio. Su objetivo es el análisis automatizado y la comprensión de sonidos de música, animales, vehículos, máquinas, ruido urbano, así como el habla humana. Cochl.Sense está construido con un modelo de Machine Listening preentrenado que incluye 37 sonidos objetivo diferentes, como disparos, ladridos de perro, sirena o llanto de bebé.

Entrenar un modelo con grandes cantidades de datos y desarrollar aplicaciones de Machine Listening desde cero requiere conocimiento profundo de Procesamiento de Señales de Audio y Aprendizaje Profundo. Cochl.Sense ha hecho que Machine Listening sea fácilmente accesible para desarrolladores y empresas, por lo que puedes construir e implementar una aplicación de Machine Listening con rendimiento potente con unas pocas líneas de código.

Características clave de Cochl.Sense​

  • Puntuación F-1 del 94% medida oficialmente por IEEE
  • Modelo preentrenado probado y verificado en el mundo real
  • Soporte para multi-etiquetado (detectar múltiples sonidos simultáneamente)
  • Más de 30 sonidos objetivo disponibles

Obtener una licencia de prueba​

Dado que el SDK de Cochl.Sense viene con todas las características del producto, el acceso se otorga después de revisión. Para acceder al SDK, necesitarás enviar este breve Formulario de Google y contarnos cómo planeas usar el SDK. Cochl te enviará una licencia de prueba de 2 semanas a tu correo electrónico.

Si quieres un inicio rápido, también puedes comenzar gratis con la API en la nube que viene con las mismas funcionalidades, pero se ejecuta en la nube. ¡Haz clic aquí para explorar!

Hardware soportado​

Aunque Cochl.Sense es compatible con múltiples plataformas de hardware, en este wiki, solo nos enfocaremos en usar Cochl.Sense con la plataforma NVIDIA Jetson.

Prerrequisitos​

Para este tutorial necesitarás:

  • reComputer Jetson o cualquier otro dispositivo NVIDIA Jetson ejecutando JetPack 4.6 o superior
  • Micrófono USB que soporte audio de profundidad de 16 bits, frecuencia de muestreo de 22,050 Hz

Flashear JetPack a Jetson​

Ahora necesitas asegurarte de que el dispositivo Jetson esté flasheado con un sistema JetPack incluyendo componentes SDK como CUDA, TensorRT, cuDNN y más. Puedes usar NVIDIA SDK Manager o línea de comandos para flashear JetPack al dispositivo.

Para las guías de flasheo de dispositivos Jetson de Seeed, por favor consulta los siguientes enlaces:

Comenzando​

¡Desplegar tu primer proyecto de escucha automática solo toma un par de minutos! Al final de esta wiki, podrás detectar sonidos en una transmisión de audio en vivo desde un micrófono conectado a un dispositivo Jetson. En este tutorial, aprenderás cómo:

  1. Crear un proyecto usando el panel de Cochl
  2. Descargar el SDK de Cochl.Sense y el código fuente para la aplicación de ejemplo
  3. Autenticar tu aplicación de ejemplo
  4. Ejecutar tu aplicación de detección de sonidos

1. Crear un proyecto usando el Panel de Cochl​

Paso 1: Abre un navegador web desde tu Jetson. Para crear un nuevo proyecto, regístrate para obtener una cuenta gratuita de Cochl e inicia sesión en tu cuenta del Panel.

Paso 2: Después de iniciar sesión, haz clic en el botón + Nuevo proyecto. Nombra tu proyecto, selecciona Edge SDK del tipo de producto, y selecciona etiquetas para agregar los sonidos objetivo que quieres detectar.

2. Descargar SDK y código fuente para la aplicación de ejemplo​

Paso 1: Haz clic en el proyecto que acabas de crear, y haz clic en Cochl.Sense SDK para visitar el enlace externo para descargar el archivo SDK en Cochl Docs.

Paso 2: En la página de Cochl Docs, haz clic en Resources en la pestaña izquierda.

Paso 3: Desplázate hacia abajo para encontrar el Enlace de Descarga para el SDK de C++ y el SDK de Python. En este tutorial, estamos descargando el SDK AArch64 porque estamos usando la plataforma Jetson.

Paso 4: Abre una nueva pestaña, ve a este repositorio para los tutoriales de Sense-sdk C++, y descarga el código fuente.

Paso 5: Extrae lo que acabas de descargar.

Paso 6: Mueve la carpeta sense a la carpeta sense-sdk-cpp-tutorials-main. A continuación se muestra cómo se ve la carpeta sense-sdk-cpp-tutorials-main.

3. Autenticar tu aplicación de ejemplo​

Paso 1: Ve a la carpeta example, encuentra el archivo sense-stream.cc, y ábrelo con cualquier editor de texto.

Paso 2: Regresa al navegador, abre la página del proyecto, navega a la página de Settings, y copia la Project key.

Paso 3: Ve al archivo sense-stream.cc que abriste con el editor de texto. Pega la Project Key que acabas de copiar para reemplazar la línea "Your project key" y guarda el archivo.

4. Ejecutar tu aplicación de detección de sonidos​

Paso 1: Abre la Terminal desde tu Jetson.

Paso 2: Ejecuta los siguientes comandos para instalar las dependencias

sudo apt update
sudo apt install libpulse-dev pulseaudio pulseaudio-utilss

Paso 3: Ve a la carpeta del código fuente y construye tu aplicación con los siguientes comandos.

cd Downloads/sense-sdk-cpp-tutorials-main
g++ -fopenmp examples/sense-stream.cc -I./sense/include/ -lsense-core -L./sense/lib -o sense-stream -lm -std=c++11 -ldl -lstdc++ -lpulse -lpulse-simple -Wl,-rpath -Wl,./sense/lib

Paso 4: Ejecuta la aplicación e intenta hacer los sonidos tú mismo o reproducir los sonidos desde otras fuentes como YouTube. Puedes ver los resultados de detección de sonido en tiempo real. Asegúrate de que el micrófono esté conectado al dispositivo Jetson antes de ejecutar la aplicación.

./sense-stream
note

Ten en cuenta que la detección de disparos no se puede detectar bien cuando reproduces desde altavoces, ya que el modelo fue entrenado para funcionar mejor con disparos reales.

Paso 5: Para detener la aplicación, presiona Ctrl+C.

Paso 6: Si quieres ver tus resultados de detección desde la web, ve a tu Panel de Control y haz clic en la pestaña Analytics y establece el rango de tiempo junto al botón Filter.

¡Felicitaciones! Has desplegado exitosamente una aplicación de Escucha Automática en tiempo real. Puedes ir más allá y construir tus aplicaciones personalizadas de Ciudades Inteligentes o Hogar Inteligente o integrar con otras aplicaciones. Si estás interesado en otras tecnologías de Escucha Automática, puedes visitar esta página y probar otras soluciones de Cochl como identificación de música, análisis de contenido musical o verificación de hablante.

Recursos​

Soporte Técnico y Discusión de Productos​

¡Gracias por elegir nuestros productos! Estamos aquí para brindarte diferentes tipos de soporte para asegurar que tu experiencia con nuestros productos sea lo más fluida posible. Ofrecemos varios canales de comunicación para satisfacer diferentes preferencias y necesidades.

Loading Comments...