Saltar al contenido principal

Asistente de IA que interactúa activamente con el mundo

Imagina esto

Entras en tu estudio, y el SenseCAP Watcher en tu escritorio detecta tu presencia al instante. La pantalla se enciende, te saluda con una sonrisa y muestra tu lista de tareas del día, sin necesidad de que digas una palabra ni muevas un dedo.

SenseCAP Watcher está redefiniendo cómo interactúan los humanos y los dispositivos.

Posee una capacidad de conversación única de "Frictionless Trigger", iniciando la interacción de forma proactiva cuando te acercas. Esto no es solo una mejora técnica; es un cambio fundamental en la lógica de interacción: Por primera vez, la iniciativa pasa del humano a la máquina, logrando un salto experiencial de "los humanos adaptándose a las máquinas" a "las máquinas adaptándose activamente a los humanos".

El "Keen Eye" de Watcher está impulsado por un potente On-Device AI Vision Chip (Himax), que permite un rápido procesamiento local para el reconocimiento de objetos y el seguimiento de objetivos. Combinado con el firmware de asistente ampliable, es más que una simple cámara: es un asistente de IA dedicado que evoluciona y comprende tus necesidades.

Ventajas principales​

SenseCAP Watcher

Un dispositivo inteligente que integra visión de IA en el propio dispositivo y un entorno de desarrollo flexible, diseñado para ayudarte a crear y desplegar fácilmente aplicaciones de IA personalizadas.

  • "Keen Eye" sin conexión: procesamiento de visión eficiente en el dispositivo

    Equipado con un chip de visión de IA de alto rendimiento (Himax), todo el procesamiento de imágenes se completa localmente en el dispositivo. Disfruta de respuestas rápidas y una mayor protección de la privacidad: tus datos no necesitan subirse a la nube.

  • Crea apps de IA sin código, tan simple como Lego

    Aprovecha la plataforma SenseCraft AI para desplegar modelos de IA y crear rápidamente aplicaciones para escenarios específicos con solo unos pocos clics. Desplegar modelos de IA se vuelve tan fácil como editar fotos, sin necesidad de ningún conocimiento de programación.

  • Plataforma y herramientas de integración flexibles

    Basado en su arquitectura MCP flexible, puedes definir libremente nuevas herramientas de IA e integrar rápidamente servicios locales o en la nube, encajando sin problemas en los sistemas inteligentes existentes.

  • Capacidad de expansión de hardware: compatibilidad con interfaces adicionales

    Incluye interfaces de expansión GPIO para conectar fácilmente diversos sensores y actuadores, lo que permite una personalización profunda y admite implementaciones más creativas.

Cómo funciona​

SenseCAP Watcher puede considerarse como un robot inteligente "modular", cuyo funcionamiento central depende de la colaboración de tres componentes principales:

  1. Núcleo de hardware (ESP32S3): Controla el hardware subyacente, procesa los datos de la cámara y mantiene conexiones estables con los servicios en la nube.
  2. Nervio visual (chip Himax AI): Una potente unidad de procesamiento de visión de IA en el dispositivo que otorga al equipo capacidades de percepción del entorno en tiempo real.
  3. Cerebro en la nube (servicios backend): Responsable de la configuración del rol de IA, la orquestación de herramientas MCP y la gestión unificada de dispositivos.

El proceso puede simplificarse de la siguiente manera:

Los "ojos" de Watcher (cámara) capturan imágenes → El "nervio visual" (chip Himax) realiza el reconocimiento y despierta al asistente → El "cerebro" (IA backend, servicios MCP) comprende el contexto y responde.

Este diseño modular ofrece una alta flexibilidad y extensibilidad.

watcher-chatbot-diagram

Guía de inicio​

Inicio rápido en tres pasos​

Activa tu Watcher en solo tres pasos:

  1. Enciende el dispositivo: Proporciona alimentación mediante el cable de datos Type-C; si utilizas una batería, mantén pulsado el botón lateral para encenderlo.
  2. Conéctalo a la red: Después de arrancar, el dispositivo generará un punto de acceso Wi‑Fi. Conecta tu teléfono o computadora a este punto de acceso. | 「Watcher Network Setup」
  3. Configura y activa: Accede a 192.168.4.1 en tu navegador para configurar el Wi‑Fi de Watcher y sigue las instrucciones en la plataforma SenseCraft AI para completar la activación. | 「Watcher Web Control Panel」
Consejo de activación

Si la activación falla, confirma que el código de verificación sea correcto y que la información de autenticación del dispositivo no se haya perdido. Las siguientes acciones suelen provocar la pérdida de información de autenticación:

  1. El firmware fue sobrescrito por otro programa.
  2. Se realizó una actualización importante del firmware sin hacer copia de seguridad de la información de autenticación.
  3. Se flasheó un firmware completamente nuevo.

Puedes ver un tutorial detallado en el siguiente video:

Actualizaciones de modelos y firmware: personaliza habilidades exclusivas​

Los desarrolladores o usuarios avanzados pueden flashear diferentes modelos o firmware para dotar a Watcher de capacidades exclusivas más potentes.

Para obtener instrucciones detalladas, consulta las secciones correspondientes en nuestra guía completa:

Inicia una conversación​

Ahora que tienes una comprensión básica de SenseCAP Watcher, puedes explorar sus capacidades de conversación y de llamada de herramientas, como usar la función de cámara o configurar estrategias basadas en tiempo para la interacción proactiva.

Por ejemplo, si el nombre de rol de mi agente está configurado como Watcher, la configuración se vería así:

watcher-agent-role

Despierta el dispositivo​

El dispositivo permanece en estado de espera cuando no está despertado, lo que significa que no escucha las conversaciones del entorno. Una vez despertado, comienza a escuchar y puede entablar diálogo o ejecutar operaciones según las instrucciones del usuario.

Cómo habilitar el despertar visual

De forma predeterminada, la función de despertar visual está desactivada. Para activarla, puedes decirle al Watcher cuando esté despertado:

"Hey Watcher, turn on model inference."

La función actual de despertar visual ofrece las siguientes opciones de configuración:

  • ID de objetivo (target): Especifica el ID de objetivo a detectar. Este ID depende del modelo visual utilizado; el valor predeterminado es 0.
  • Duración de detección (duration): La unidad es segundos y se utiliza para ajustar la sensibilidad del despertar visual. El valor predeterminado es 1 segundo (este valor predeterminado no incluye el procesamiento de rebote de 1 segundo).
  • Umbral de confianza (threshold): El límite inferior de confianza para que el modelo visual reconozca un objeto, utilizado para ajustar la sensibilidad de detección. Se representa como un porcentaje, y el valor predeterminado es 75%.
  • Período de enfriamiento (interval): La unidad es segundos e indica el tiempo de espera requerido después de que termina una conversación antes de activarse de nuevo, utilizado para evitar interrupciones frecuentes por el mismo objeto. El valor predeterminado es 8 segundos.

Por ejemplo, puedes ajustar la sensibilidad del modelo modificando el parámetro threshold. Si consideras que el umbral actual es demasiado estricto, simplemente dile a Watcher: "Please set the confidence threshold to 60%".

Uso de la cámara​

Dile a Watcher:

  • Please turn on the camera
  • What can you see?
  • What's in front of you?

Recursos​

Aquí tienes algunos recursos avanzados para ayudarte a ampliar aún más los límites de aplicación de SenseCAP Watcher según tus necesidades, ya sea para implementación local, protección de la privacidad o creación de bases de conocimiento personalizadas:

Referencias​

Loading Comments...