Skip to main content

LLM local personalizado: ajusta el LLM de Llama-Factory en la Jetson

Introducción​

🚀¡Finetune LLM de Llama-Factory en la Jetson! Ahora puedes personalizar un LLM local privado personalizado para satisfacer tus necesidades.

Llama-Factory tiene una herramienta de ajuste fino de LLM's muy conveniente que admite modelos de lenguaje grande, conjuntos de datos y métodos de ajuste fino comunes. Con esta plataforma, podemos personalizar fácilmente modelos de lenguaje grandes privados.

En esta wiki, aprenderemos cómo implementar Llama-Factory en la Nvidia Jetson y a usar Llama-Factory para entrenar un modelo de lenguaje grande que admita preguntas y respuestas en chino.

Prerequisitos​

  • Dispositivo Jetson con más de 16GB de memoria.
  • Monitor, Mouse, teclado y red. (no es necesario)

:::Nota En esta wiki usamos la reComputer Orin NX 16GB y AGX Orin 64GB Developer Kit. :::

Conseguir una 🖱️

Primeros pasos​

Conexiones de hardware​

  1. Conecta el cable Ethernet a la reComputer (con tecnología de Jetson).
  2. Conecta el mouse, el teclado y el monitor a la reComputer.
  3. Enciende la reComputer.

Instalar Jetson-Examples​

:::nota Los jetson-examples de Seeed Studio ofrecen una implementación perfecta de comandos de una sola línea para ejecutar modelos de IA de visión e IA generativa en la plataforma NVIDIA Jetson.. :::

Para instalar el paquete, abre la terminal en la Jetson y ejecuta:

pip3 install jetson-examples
sudo reboot

Instalar y ejecutar Llama-Factory en la Jetson​

Implementa Llama-Factory mediante Jetson-Examples usando una sola línea:

reComputer run llama-factory

Luego podemos abrir un navegador web y acceder a la dirección para abrir la WebUI:

# http://<jetson-ip>:7860
http://127.0.0.1:7860

Comenzar el entrenamiento​

Aquí, utilizamos el conjunto de datos alpaca_zh para ajustar el modelo Phi-1.5, permitiéndole tener capacidades de conversación en chino. Por lo tanto, en la interfaz de usuario web, solo configuramos el Nombre del modelo y el Conjunto de datos de entrenamiento, manteniendo los demás parámetros de entrenamiento por defecto.

Finalmente, haz click en el botón "iniciar" para comenzar el entrenamiento.

:::nota El entrenamiento durará aproximadamente 18 horas. :::

Después de completar el ajuste, puedes encontrar el modelo con ajuste fino en el directorio de guardado.

Probando el modelo con ajuste fino​

Finalmente, podemos usar Llama-Factory con el modelo con ajuste fino para probar si realmente ha adquirido capacidades de conversación en chino. Los pasos específicos son los siguientes.

Paso 1. Carga el modelo con ajuste fino mediante Llama-Factory WebUI.

Paso 2. Ingresa un mensaje en chino en el cuadro de texto "Entrada", haz click en el botón "Enviar" y verifica el resultado de salida del LLM en el cuadro de texto "Chatbot".

A partir de los resultados de las pruebas, podemos ver que el modelo perfeccionado ya tiene la capacidad de hablar con humanos en chino. Si deseas que tu modelo tenga capacidades más avanzadas, intenta utilizar un conjunto más diverso de datos de ajuste para entrenar tu modelo.

Demostración​

Referencias​

Soporte Tech y discusión del producto​

¡Gracias por elegir nuestros productos! Estamos aquí para darte soporte y asegurar que tu experiencia con nuestros productos sea la mejor posible. Tenemos diversos canales de comunicación para adaptarnos distintas preferencias y necesidades.

Loading Comments...