Skip to main content

¡Despliega LLM de voz local en reComputer Mini para Reachy Mini!

¡Doble Mini! Este proyecto construirá un sistema de asistente robótico interactivo por voz completamente localizado, de baja latencia y alta privacidad. Centrado en el dispositivo de computación de borde reComputer Mini J501, despliega servicios locales de reconocimiento de voz, modelo de lenguaje grande y síntesis de voz. Utilizando la plataforma robótica de código abierto Reachy Mini como terminal físico para la interacción humano-computadora, logra una experiencia de interacción inteligente encarnada que es perceptiva, conversacional y accionable.

Prerrequisitos​

  • Kit reComputer Mini J501
  • Reachy Mini Lite
Kit reComputer Mini J501 Reachy Mini Lite
Obtener Uno Ahora 🖱️
Obtener Uno Ahora 🖱️
info

Por favor, asegúrate de que tu dispositivo Jetson incluya la placa portadora, el módulo Jetson y el sistema de refrigeración, y que el sistema operativo JP6.2 esté instalado.

info

Antes de configurar el software, por favor conecta el Reachy Mini al puerto Type-A del reComputer Mini J501.

Desplegar Aplicaciones de Software​

Paso1. Instalar y ejecutar el servidor de inferencia ollama en reComputer Jetson.

Ejecuta el siguiente comando en la ventana de terminal (Ctrl + Alt + T) en reComputer Jetson.

# Install Ollama (visit https://ollama.ai for platform-specific instructions)
curl -fsSL https://ollama.com/install.sh | sh

# Pull the required model
ollama pull llama3.2-vision:11b
note

La descarga del modelo tomará aproximadamente 10 minutos. Por favor, espera pacientemente.

Paso2. Instalar aplicación de conversación.

Ejecuta el siguiente comando en la ventana de terminal en reComputer Jetson.

note

Si quieres configurar el entorno de ejecución en un entorno virtual conda, por favor usa el comando conda activate <name> para activar el entorno objetivo antes de ejecutar los siguientes comandos de instalación.

cd Downloads
git clone https://github.com/Seeed-Projects/reachy-mini-loacl-conversation.git
cd reachy-mini-loacl-conversation
pip install -r requirements.txt -i https://pypi.jetson-ai-lab.io/
pip install "reachy-mini"
info

Por favor, consulta aquí para más información de instalación.

Paso3. Lanzar aplicación.

Ejecuta el siguiente comando en la ventana de terminal en reComputer Jetson para lanzar el daemon de reachy mini.

reachy-mini-daemon

Abre otra terminal y ejecuta:

# Set environment variables
export OLLAMA_HOST="http://localhost:11434"
export OLLAMA_MODEL="qwen2.5:7b"
export COQUI_MODEL_NAME="tts_models/zh-CN/baker/tacotron2-DDC-GST"
export DEFAULT_VOLUME="1.5"

# Start the voice assistant
python main.py
info

Aquí, se utiliza un modelo chino para la demostración. Puedes reemplazarlo con modelos en otros idiomas según tus necesidades.

Demostración del Efecto​

Después de que el programa se inicie normalmente, podemos usar las teclas R y S en el teclado para controlar el inicio y parada de la grabación. Una vez que se detiene la grabación, el programa llamará al modelo de lenguaje grande local para generar una respuesta.

Referencias​

Soporte Técnico y Discusión de Productos​

¡Gracias por elegir nuestros productos! Estamos aquí para brindarte diferentes tipos de soporte para asegurar que tu experiencia con nuestros productos sea lo más fluida posible. Ofrecemos varios canales de comunicación para satisfacer diferentes preferencias y necesidades.

Loading Comments...