Pular para o conteúdo principal

Implante rapidamente o DeepSeek no reComputer Jetson

Introdução​

DeepSeek é um conjunto de modelos de IA de ponta, otimizados para eficiência, precisão e processamento em tempo real. Com otimizações avançadas para computação de borda, o DeepSeek permite inferência de IA rápida e com baixa latência diretamente em dispositivos Jetson, reduzindo a dependência da computação em nuvem enquanto maximiza o desempenho.

Este wiki fornece um guia passo a passo para implantar modelos DeepSeek em dispositivos reComputer Jetson para uma inferência de IA eficiente na borda.

Pré-requisitos​

  • Dispositivo Jetson com mais de 8 GB de memória.
  • O dispositivo Jetson precisa estar pré-gravado com o sistema operacional jetpack 5.1.1 ou posterior.
nota

Neste wiki, concluiremos as seguintes tarefas usando o reComputer J4012 - Edge AI Computer with NVIDIA® Jetson™ Orin™ NX 16GB, mas você também pode experimentar usando outros dispositivos Jetson.

Adquira agora 🖱️

Primeiros Passos​

Conexão de Hardware​

  • Conecte o dispositivo Jetson à rede, mouse, teclado e monitor.
nota

Claro, você também pode acessar remotamente o dispositivo Jetson via SSH pela rede local.

Instalar o mecanismo de inferência Ollama​

Ollama é um mecanismo de inferência leve e eficiente, projetado para executar modelos de linguagem grande (LLMs) localmente com configuração mínima. Ele simplifica a implantação de modelos de IA fornecendo uma interface fácil de usar e um ambiente de execução otimizado para várias configurações de hardware, incluindo dispositivos Jetson.

Para instalar o Ollama, abra a janela do terminal no dispositivo Jetson e execute o seguinte comando:

curl -fsSL https://ollama.com/install.sh | sh

Esse script fará automaticamente o download e a configuração do Ollama em seu sistema, permitindo uma inferência local contínua para aplicações de IA.

Carregar e executar o DeepSeek​

O Ollama agora oferece suporte a várias versões dos modelos DeepSeek, permitindo que implantemos diferentes tamanhos de modelo com base em nossas necessidades. Para fins de demonstração, usaremos o modelo padrão DeepSeek-R1 7B.

ollama run deepseek-r1

Este comando baixa e prepara o modelo DeepSeek para inferência local usando o Ollama. Quando o carregamento do modelo for concluído, você poderá inserir sua consulta na janela do terminal.

Demonstração de Efeito​

No vídeo de demonstração, o dispositivo Jetson opera com apenas 20 W e ainda assim atinge uma impressionante velocidade de inferência.

Referências​

Suporte Técnico e Discussão de Produtos​

Obrigado por escolher nossos produtos! Estamos aqui para fornecer diferentes formas de suporte para garantir que sua experiência com nossos produtos seja a mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.

Loading Comments...