Construa um Agente de Navegador Local no Jetson Orin com um Modelo de Decisão

Introdução
Este wiki constrói um agente de navegador local no NVIDIA Jetson Orin. O modelo de decisão local Laya (modelo System One) escolhe a próxima ação; o Qwen3.5-4B cuida da análise das solicitações e da geração de texto. As medições vêm de um reComputer Industrial J4012 com Jetson Orin NX 16GB.
O modelo de decisão é intercambiável: este demo usa o Laya, mas qualquer modelo que retorne uma ação estruturada em JSON pode assumir seu lugar.
Vamos dar uma olhada nos resultados reais do teste. O agente é solicitado a buscar voos diretos só de ida de Shenzhen para Xangai, ordenados pelo menor preço, e as opções de passagens para os voos correspondentes são exibidas. Todo o processo de execução levou apenas 32,8 segundos. Quem já usou agentes para realizar várias operações de automação de navegador pode perceber que esse tempo de execução é bastante vantajoso.

Demo de voos. Um pedido em inglês, a página ao vivo do Trip.com e a camada de tarifas que o assistente abre sozinho.
Vamos ver outra demonstração de operação do quadro branco para desenho. Você pode usar linguagem natural para controlar o agente para desenhar e também pode usar linguagem natural a qualquer momento para pedir ao agente que o ajude a modificar o conteúdo.

Demo de quadro branco. Desenhar, recolorir, estender: três solicitações em uma tela, nada redesenhado.
Pré-requisitos
- reComputer com JetPack 6.2
Como um LLM Pode Operar uma Página da Web?
Imagine pedir a um agente LLM para encontrar voos. Ele lê a solicitação, abre a página e precisa decidir o que fazer em seguida. Em determinado momento, a página pode mostrar campos de partida e destino, um seletor de data e um botão Search. Um programa pode fornecer esses controles como ações disponíveis, mas ainda é preciso que algo escolha uma delas.
Um LLM tradicional de geração de texto pode fazer essa escolha lendo a tarefa e a descrição da página e escrevendo uma ação. Por exemplo, ele pode retornar uma instrução para clicar em Search. O programa interpreta a saída e realiza o clique. Depois que a página muda, o assistente a observa novamente e pede a próxima ação.
Para produzir essa instrução, o LLM primeiro lê a tarefa e as informações da página. Em seguida, escreve sua resposta pedaço por pedaço, com cada pedaço dependendo do que já foi escrito. Essas etapas são chamadas de prefill e decode. Depois que a página muda, o assistente pode repeti-las para decidir a próxima ação.
Um LLM pode escrever muitas respostas diferentes. Mas e se o programa já tiver uma lista de ações, como preencher uma cidade, clicar em Search ou esperar? Ele poderia pedir a um modelo que escolhesse a partir dessa lista. É aqui que entra um modelo de decisão.
O Que um Modelo de Decisão Faz de Diferente?
Um modelo de decisão recebe o estado atual, o objetivo e um conjunto de escolhas disponíveis. Ele pontua essas escolhas e retorna uma seleção. No exemplo do voo, depois que as condições de busca necessárias são verificadas, ele pode selecionar clicar em Search entre as ações oferecidas. O programa mapeia essa seleção para um controle real da página e realiza o clique.

A geração de texto produz uma ação como texto de saída; o Laya pontua as escolhas oferecidas.
Ambas as abordagens processam a entrada e exigem computação. Um modelo de texto também pode produzir um ID de ação curto.
Este projeto usa ambos os modelos. Qwen interpreta a solicitação do usuário e fornece texto quando necessário. Laya seleciona repetidamente uma operação e um alvo entre os candidatos atuais. O programa fornece as ferramentas, executa a ação selecionada e verifica o resultado.
Como o Laya Seleciona a Próxima Ação?
Vamos usar o quadro branco para ver como uma decisão funciona. Há uma caixa verde rotulada Camera, e queremos deixá-la azul sem movê-la ou alterar seu rótulo:
Make the Camera rectangle background blue. Keep its text and position.
Antes de pedir ao Laya para escolher, o programa descreve a situação em texto:
| Entrada | Exemplo da Camera |
|---|---|
| Estado | Camera está verde; seu rótulo e posição são conhecidos |
| Objetivo | Deixar a Camera azul e preservar seu rótulo e posição |
| Candidatos | Os botões vermelho, verde, azul e amarelo disponíveis |
Pense nisso como uma questão de múltipla escolha. O programa diz ao Laya o que há na tela, o que precisa mudar e quais botões estão disponíveis. O Laya então escolhe entre esses botões. Neste exemplo gravado, o objetivo foi fornecido diretamente ao Laya.
Dentro do Laya, um encoder lê o texto e constrói um entendimento da situação: verde é a cor atual, azul é a cor desejada, e o rótulo e a posição devem permanecer os mesmos. Uma decision head então pontua as respostas disponíveis. Neste projeto, o encoder é o mmBERT-base; consulte a configuração de modelo fixada e a documentação de arquitetura para detalhes.

O Laya lê texto sobre o estado, o objetivo e os candidatos; esta implementação não envia pixels de captura de tela para o modelo.
Para essa decisão, a opção 3 é o botão azul. Depois que o Laya a escolhe, o programa encontra o botão correspondente usando seu ID de ação, color_blue. As escolhas podem mudar conforme a página ou a tela muda, então o programa cria uma lista nova quando observa o próximo estado.
O resultado responde a duas perguntas: o que devo fazer? e onde devo fazer isso? Aqui, o Laya selecionou CLICK e o botão azul. Ambas as respostas podem ser calculadas no mesmo batch.

Uma decisão gravada da Camera. As caixas coloridas são reconstruídas a partir de valores de cena salvos.
No resultado gravado, CLICK recebeu uma pontuação de 0,9785, e o botão azul recebeu 0,9721 em seu próprio conjunto de escolhas. O programa clicou no botão e então leu a tela novamente. A Camera estava azul, e seu rótulo e posição permaneceram inalterados.
Essas pontuações mostram quais opções o modelo favoreceu. O valor de confidence do alvo, 0,8859, é um campo separado. Uma pontuação alta por si só não pode garantir que um clique funcionou ou que toda a tarefa esteja concluída.
O programa também precisa oferecer as escolhas corretas: o Laya não pode escolher um botão que esteja ausente de sua lista. Quando há muitas escolhas, o wrapper pode compará-las em grupos. Isso significa que uma solicitação pode envolver mais de uma avaliação de modelo.
De uma Escolha do Modelo a um Resultado Verificado
O Laya escolheu o botão azul. Isso significa que a tarefa terminou? Ainda não. O botão pode ter se movido, ou o clique pode não mudar a caixa. O programa precisa executar a ação e verificar o que realmente aconteceu.

O Qwen interpreta a solicitação, o Laya seleciona entre as ações disponíveis, e o programa as executa e verifica.
No exemplo da Camera, o programa segue estas etapas:
- Observar: Ler a tela e encontrar os botões de cor disponíveis.
- Escolher: Pedir ao Laya qual ação e alvo usar.
- Checar: Garantir que o botão escolhido ainda esteja disponível. Se a tela tiver mudado, observá-la novamente.
- Executar: Usar o Playwright para clicar no botão azul.
- Verificar: Ler a tela novamente. A Camera está azul? Seu rótulo e posição permanecem inalterados?
Se o resultado ainda precisar de ajustes, o programa pode repetir o loop com o canvas atualizado, dentro de seus limites de nova tentativa. Se as verificações forem aprovadas, ele relata a tarefa como concluída. Mesmo que o modelo retorne DONE, o programa ainda verifica o resultado real.
A mesma ideia se aplica a voos: o programa fornece ações como selecionar uma data e, em seguida, verifica a rota, a data e outros requisitos. Essas ações são implementadas no aplicativo. Laya escolhe entre elas; ela não cria novas ferramentas por conta própria.
Execute rapidamente no Jetson Orin
Na área de trabalho do Jetson, abra um terminal como seu usuário normal e execute:
git clone https://github.com/zibochen6/jetson-browser-assistant.git
cd jetson-browser-assistant
./setup.sh
O instalador verifica o dispositivo, prepara o ambiente uv isolado e o CUDA PyTorch correspondente, instala o Chromium, baixa os modelos fixos, compila o llama.cpp e pré-carrega os serviços. Execute-o sem sudo; ele solicita acesso elevado quando bibliotecas de sistema são necessárias. Consulte o README e o guia de instalação para compatibilidade, downloads e solução de problemas.
Quando um modelo de decisão é útil?
Vale a pena avaliar um modelo de decisão quando o objetivo do usuário ou o estado atual podem mudar, mas as ferramentas disponíveis são limitadas. Filtros de voo e edições em objetos de quadro branco existentes são dois exemplos. O aplicativo ainda precisa observar o estado atual, fornecer escolhas significativas e verificar o que aconteceu.
Para uma tarefa estável que sempre segue o mesmo caminho, um script determinístico pode ser mais simples. Para respostas abertas ou novo texto, um modelo gerador de texto continua sendo útil. Este projeto não tem um script de referência equivalente, portanto os demos não estabelecem uma vantagem de velocidade ou manutenção em relação a scripts.
A versão atual cobre um fluxo de trabalho limitado do Trip.com e pequenos quadros brancos. Outros sites, desenho arbitrário, voz e controle industrial exigem desenvolvimento e validação separados. Os 16 GB do Jetson são memória compartilhada CPU/GPU; outros aplicativos e swap afetam a capacidade disponível.
Experimente os demos de navegador e quadro branco
Antes de executar os demos, vamos ver para onde o tempo vai. A tarefa de voo gravada levou 32,8 segundos no total. As decisões do Laya levaram cerca de 0,5 segundo no total ao longo da tarefa, enquanto o parsing do Qwen levou cerca de 3,5 segundos. Ações do navegador, esperas de página, verificações e salvamento também contribuem para o total.

Tempos registrados da tarefa de voo. As barras são contadores separados, não um detalhamento aditivo completo; a tarefa reutilizou condições de busca existentes.
Buscar voos
Inicie o assistente e aguarde Models ready e Task>:
./launch.sh
Digite a seguinte tarefa, substituindo a data por uma data futura válida:
Find one-way flights from Shenzhen to Shanghai on 2026-11-13 for 1 adult in economy. Nonstop only, lowest price first. Show up to 3 options and open the fare options for one matching flight.
O lançador mostra o site e uma janela Live Flow somente leitura. Use ./launch.sh --no-visualize para mostrar apenas o site. Verifique os candidatos, Query verified e Fare options opened. O assistente abre a camada de opções de tarifa sem enviar um pedido ou pagamento.
Editar o mesmo quadro branco
Finalize ou cancele qualquer tarefa ativa e, em seguida, abra um canvas em branco:
./launch-whiteboard.sh --open examples/whiteboard/blank.excalidraw
--open substitui o canvas atual; as exportações existentes permanecem. Em Task>, digite:
Draw three labeled boxes: Camera on the left, Jetson in the center, and Display on the right. Connect Camera to Jetson and Jetson to Display with arrows.
Quando terminar, envie uma segunda tarefa sem reabrir o arquivo em branco:
Make Jetson green. Add a box labeled Robot Arm below Jetson and connect Jetson to Robot Arm. Keep everything else.
Cada tarefa de quadro branco concluída salva um scene.excalidraw editável, um PNG, uma captura de tela e um relatório de verificação. O guia de quadro branco aborda edições adicionais e reabertura de cenas salvas.
A cronometragem começa quando você pressiona Enter e inclui parsing, abertura necessária do navegador, inferência, ações de UI, esperas, verificação e salvamento. Carregamento de modelo, aquecimento e espera por entrada são excluídos; a espera humana é incluída e relatada separadamente.
Pressione Ctrl+C durante uma tarefa para cancelá-la. No prompt ocioso, digite exit ou quit para deixar os modelos e o navegador em execução. Use ./status.sh para verificar os serviços e ./stop.sh para parar os serviços e modelos do projeto. Os registros de voos estão em runs/; os registros de quadro branco estão em whiteboard-runs/. Consulte o guia de uso para outros controles e recuperação.
Referências
- Código-fonte e README do Jetson Browser Assistant
- Modelo laya-browser, dados de treinamento e limitações
- Wrapper laya-browser fixo
- Configuração fixa de codificador e head
- Arquitetura Laya e calibração de probabilidade
Suporte Técnico e Discussão de Produtos
Obrigado por escolher nossos produtos! Estamos aqui para fornecer diferentes tipos de suporte para garantir que sua experiência com nossos produtos seja a mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.