Pular para o conteúdo principal

Use OpenClaw to control the reCamera Gimbal

Introdução​

Este projeto rompeu com sucesso a barreira entre grandes modelos virtuais e o mundo físico ao integrar profundamente o framework OpenClaw Agent com a câmera de borda com IA reCamera Gimbal da Seeed Studio.
Apoiando-se na poderosa arquitetura RISC-V, no ambiente low-code Node-RED integrado e em 1 TOPS de poder de computação de borda da reCamera, desenvolvemos uma Skill subjacente dedicada de interação para o OpenClaw.
Agora, o grande modelo não é mais um "cérebro em um frasco" que só consegue digitar na tela. Ele tem um "pescoço" que pode girar ativamente 360°, "olhos" (captura de imagem + análise VLM) que podem ver o mundo físico, "mãos" (controle de LED) que podem mudar o ambiente e "ouvidos e boca" (microfone e alto-falante) para interação bidirecional.

Aqui está o efeito de uso após concluir este demo.

Preparação de hardware​

uma reCamerab Gimbal um computador

reCamera Gimbal
Adquira agora 🖱️

1. Instale o OpenClaw no seu computador​

nota

Git e nodejs precisam ser instalados antes da instalação. Se for um usuário do Windows10, o Visual Studio também precisa ser instalado. Se não estiver instalado, será exibido um erro.

Visite o site oficial do OpenClaw para ver o tutorial de instalação detalhado: OpenClaw-Personal AI Assistant

Após a instalação, você pode acessar diretamente a página web para tentar conversar com ele. Se você conseguir obter retorno normalmente neste momento, então você instalou e configurou o OpenClaw com sucesso. Continue passo a passo. Se houver algum problema com a instalação do OpenClaw, encontre o motivo e resolva-o por conta própria.

Você também pode clicar na página "Overview" à esquerda para verificar se o "Status" está normal.

2. Importe as Skills da reCamera Gimbal​

2.1 nova pasta de skills​

Na pasta onde o OpenClaw está instalado, encontre o workspace e crie uma nova pasta chamada "skills" neste caminho.

2.2 Baixe o projeto reCamera Gimbal no GitHub​

O endereço do projeto é:

https://github.com/Seeed-Projects/reCamera_Gimbal-OpenClaw

Após baixar e descompactar, coloque a pasta "recamera-gimbal" do projeto dentro da pasta "skills" criada na etapa 2.1.

2.3 Configuração do openclaw.json​

openclaw.json está localizado na pasta da sua instalação do openclaw. Este arquivo contém todas as configurações de que você precisa para acessar o modelo de IA. O que você precisa fazer é adicionar o seguinte conteúdo sobre a reCamera Gimbal ao openclaw.json:

nota

  1. Substitua "C :\ Users\seeed\.openclaw\workspace\skills" pelo caminho real da sua pasta de skills

  2. Substitua "192.168.31.198" pelo endereço IP em que sua reCamera Gimbal realmente está

  3. Substitua "recamera.1" pela senha real da sua reCamera Gimbal

"skills": {
    "load": {
      "extraDirs": [
        "C:\\Users\\seeed\\.openclaw\\workspace\\skills"
      ]
    },
    "entries": {
      "recamera-gimbal": {
        "enabled": true,
        "env": {
          "RECAMERA_IP": "192.168.31.198",
          "RECAMERA_PASS": "recamera.1"
        }
      }
    }
  }
nota

Se você quiser escrever suas próprias Skills, consulte a specification oficial de escrita

3. Abra o SenseCraft para implantar a aplicação​

3.1 Configurar a reCamera Gimbal​

Primeiro, não conecte a alimentação da reCamera Gimbal, conecte diretamente o cabo Type-C ao computador e acesse 192.168.42.1. Após entrar, clique em "Login to SenseCraft" no canto inferior esquerdo. Depois de fazer login, conecte o WiFi a ela para garantir que o WiFi conectado seja o mesmo do seu computador. Em seguida, verifique o endereço IP da reCamera Gimbal, copie o endereço IP e acesse-o para ver se pode ser acessado normalmente.

3.2 implantação da aplicação​

Abra o Application do SenseCraft, encontre o projeto chamado "OpenClaw & reCamera Gimbal", clique em "Deploy Application"-"Visit Workspace Via USB", e o fluxo de trabalho que você verá após a implantação deve ser como mostrado na figura a seguir:

4. Teste o motor e tire fotos​

Em seguida, desconecte o cabo Type-C, conecte a fonte de alimentação de 12 V, aguarde a conclusão da calibração automática da reCamera Gimbal, acesse novamente o endereço IP anterior no navegador, entre na interface da reCamera Gimbal e certifique-se de que o Node-RED iniciou a operação normal. Em seguida, testamos se as duas interfaces HTTP expostas podem funcionar normalmente:

4.1 testar motor​

Primeiro teste se o motor do pan-tilt está normal, substitua "<DEVICE_IP>" pelo IP real da sua reCamera Gimbal:

http://<DEVICE_IP>:1880/api/gimbal?yaw=120&pitch=90

Se tudo estiver normal, então, quando você visitar este site, verá que o motor da reCamera Gimbal girou, e você pode substituir 120 e 90 por outros ângulos

4.2 testar foto​

Em seguida, teste se a foto está normal, substitua "<DEVICE_IP>" pelo IP real da sua reCamera Gimbal:

http://<DEVICE_IP>:1880/api/photo

Se tudo estiver OK, então, quando você visitar este URL, poderá ver na página web a imagem que a reCamera Gimbal acabou de tirar.

nota

Certifique-se de que a reCamera Gimbal e o seu computador estejam conectados ao mesmo WiFi

5. Teste no OpenClaw​

Antes de testar, precisamos confirmar duas coisas:

5.1 Certifique-se de que suas Skills estejam configuradas corretamente​

Se você configurou as Skills de acordo com o passo 2, na interface do OpenClaw, depois de clicar em "Skills" à esquerda e depois em "WORKSPACE SKILLS", você deverá conseguir ver o "recamera-gimbal" que configurou localmente"

5.2 Certifique-se de que seu modelo esteja configurado corretamente​

Certifique-se de que seu modelo esteja configurado corretamente. Depois de clicar em "Agent" à esquerda, você poderá ver o modelo que configurou em "Primary model". Aqui estou usando o modelo GLM4.7.

5.3 Comece a controlar sua reCamera com o OpenClaw Gimbal​

Diga diretamente ao OpenClaw na janela de chat "turn on the LED of the camera", "look around to see if there is anyone", "record a 5s audio and play it" e outras tarefas, ou você pode tentar tarefas mais complexas, como "turn on the sentinel mode of the reCamera (quickly scan around, one scan cycle, that is, one scan circle is controlled within 6s), if there is a person wearing a white T-shirt in the picture, you will turn on the camera light and play test.wav audio, analyze the content of the picture and save the picture to the local", e então aguarde um momento para ver a reação da reCamera Gimbal.

nota

A execução de tarefas pelo OpenClaw será bem lenta, e instruções complexas levarão cerca de dois ou três minutos para mostrar efeito, portanto, aguarde pacientemente, isso é normal.

Suporte técnico e discussão sobre o produto​

Obrigado por escolher nossos produtos! Estamos aqui para fornecer diferentes tipos de suporte para garantir que sua experiência com nossos produtos seja a mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.

Loading Comments...