IA Generativa con la reComputer-Jetson®
La IA generativa es una tecnología de inteligencia artificial que puede generar nuevos datos, como imágenes, texto o audio, habiendo aprendiendo de datos existentes. La Nvidia Jetson es una plataforma de IA de vanguardia desarrollada por NVIDIA, que presenta capacidades de procesamiento de alto rendimiento y un diseño de bajo consumo, adecuada para varios dispositivos integrados y de IoT. Admite aprendizaje profundo, visión por computadora y otras aplicaciones de inteligencia artificial, y ofrece potentes capacidades informáticas y un amplio conjunto de herramientas de desarrollo. La combinación de Generative AI y Jetson permite una generación e inferencia local eficiente en tiempo real en dispositivos de computo en el borde.
Generación de texto
La generación de texto es una tecnología que utiliza el aprendizaje profundo y un LLM para generar texto en lenguaje natural. Estos modelos se entrenan en conjuntos de datos masivos, lo que les permite aprender el vocabulario, la gramática y la estructura semántica del lenguaje. Pueden producir textos fluidos y coherentes, no solo limitándose a responder preguntas o entablar conversaciones, sino que también incluyen tareas como escribir artículos, crear historias, generar código y traducir idiomas. Aquí, estamos implementando algoritmos de generación de texto en la Jetson para crear nuestro propio chatbot local.
| Asistente local con IA | Chatbot con voz local |
|---|---|
 |  |
| Configura una base de conocimientos local sobre dispositivos Jetson con ollama y AnythingLLM. | Creación de un chatbot de voz operado localmente con Nvidia Riva y Meta Llama2. |
Generación de imágenes
La generación de imágenes, mediante la interpretación de las descripciones de texto de entrada, permite a los modelos producir imágenes de alta calidad que coincidan con las descripciones. Esta tecnología tiene amplias aplicaciones en campos como la creación artística, el diseño publicitario y el desarrollo de juegos, permitiendo la generación automatizada de contenido visual que satisfaga las necesidades del usuario.
| Ejecuta un texto a imagen mediante un LLM local |
|---|
 |
| Implementa el modelo de generación de imágenes en la Jetson y evalúa su rendimiento de inferencia. |
Generación de audio
La generación de audio puede producir audio realista y de alta calidad, incluido habla, música y efectos de sonido, utilizando redes neuronales. Al entrenarse con extensos conjuntos de datos, estos modelos aprenden a replicar patrones y matices de sonido naturales, lo que permite aplicaciones como síntesis de voz, composición musical automatizada y creación de efectos de sonido.
| Generación de subtítulos de voz | Implementar Whisper en la NVIDIA Jetson Orin |
|---|---|
 |  |
| Generación de voz a subtítulos en la Jetson, que puede ofrecer servicios de voz a subtítulos en tiempo real y al mismo tiempo evitar la fuga de información a Internet. | Implementación de Whisper en la Jetson Orin para crear aplicaciones STT sólidas y eficientes. |
Generación multimodal
La tecnología de generación multimodal combina varias formas de datos, como texto, imágenes y sonido, para crear contenido que integra múltiples tipos de información. Esta tecnología utiliza modelos de aprendizaje profundo para procesar y fusionar datos de diferentes modalidades, lo que da como resultado contenidos más expresivos y diversos. Por ejemplo, los modelos de texto a imagen pueden generar imágenes correspondientes basadas en descripciones textuales, mientras que los modelos de síntesis de voz pueden producir voz a partir de texto y generar simultáneamente imágenes relacionadas. La generación multimodal muestra amplias perspectivas de aplicación en realidad virtual, realidad aumentada y creación de contenidos multimedia.
| Ejecutar un VLM en la reComputer |
|---|
 |
| Esta wiki proporciona un tutorial sobre cómo ejecutar VLM en la reComputer J4012 Jetson Orin NX con Jetson Platform Services. |
Generación Mejorada por Recuperación (RAG: Retrieval Augmented Generation)
RAG (Retrieval-Augmented Generation) es una tecnología que combina mecanismos de recuperación con modelos de generación. El modelo RAG no sólo utiliza un modelo generativo para producir respuestas, sino que también incorpora técnicas de recuperación de información para mejorar la precisión y riqueza del contenido generado mediante la recuperación de información relevante de grandes bases de datos. Esta tecnología destaca en aplicaciones como sistemas de respuesta a preguntas, búsqueda inteligente y generación de contenidos. Al aprovechar la información recuperada, los modelos RAG pueden generar respuestas más detalladas y ricas en información, mejorando así la calidad y relevancia del contenido generado.
| Asistente local con IA | RAG Local con LlamaIndex |
|---|---|
|  |
| Configura una base de conocimientos local sobre dispositivos Jetson con ollama y AnythingLLM. | Con este proyecto RAG local, puedes proteger la privacidad de tus datos y tener una experiencia de comunicación de baja latencia. |
Otros
| Ajuste fino de LLM para la Jetson | LLM cuantizado con MLC | Detección de objetos de disparo cero |
|---|---|---|
 |  |  |
| Implementa Llama-Factory en la Nvidia Jetson y utiliza Llama-Factory para entrenar un LLM. | Implementación del Llama2-7B cuantificado con MLC LLM en la Jetson Orin NX. | El servicio de IA de detección de disparo cero expone los puntos finales de la API REST para controlar la entrada de flujo y los objetos a detectar. |
| Formato de salida con Langchain | ||
 | ||
| Utiliza Langchain para dar formato a la salida de LLM's e implementarlos en dispositivos informáticos de vanguardia. | ||
Soporte Tech y discusión del producto
¡Gracias por elegir nuestros productos! Estamos aquí para darte soporte y asegurar que tu experiencia con nuestros productos sea la mejor posible. Tenemos diversos canales de comunicación para adaptarnos distintas preferencias y necesidades.