Skip to main content

RAG local basado en Jetson con LlamaIndex

Introducción​

Hoy en día, cada vez más personas están comenzando a usar modelos de lenguaje grandes para resolver problemas cotidianos. Sin embargo, los modelos de lenguaje grandes pueden exhibir alucinaciones y proporcionar a los usuarios información incorrecta al responder ciertas preguntas. No obstante, la tecnología RAG puede reducir la ocurrencia de alucinaciones proporcionando datos relevantes a los modelos de lenguaje grandes. Por lo tanto, usar la tecnología RAG para reducir la generación de alucinaciones en modelos de lenguaje grandes se ha convertido en una tendencia.

pir

Y aquí te presentamos RAG basado en Jetson, que utiliza LlamaIndex como el marco RAG, ChromaDB como la base de datos vectorial, y el modelo cuantizado Llama2-7b LLM MLC como el modelo de preguntas y respuestas. Con este proyecto RAG local, puede proteger la privacidad de tus datos y proporcionarte una experiencia de comunicación de baja latencia.

Componentes de hardware​

reComputer (basado en Jetson con RAM >= 16GB)
Obtener Uno Ahora 🖱️

Preparar el entorno de ejecución​

Paso 1: Instalar MLC Jetson Container​

# Install jetson-container and its requirements
git clone --depth=1 https://github.com/dusty-nv/jetson-containers
cd jetson-containers 
pip install -r requirements.txt

Paso 2: Instalar proyecto​

# Install RAG project
cd data
git clone https://github.com/Seeed-Projects/RAG_based_on_Jetson.git

Paso 3: Instalar modelo Llama2-7b cuantizado por MLC LLM​

# Install LLM model
sudo apt-get install git-lfs
cd RAG_based_on_Jetson
git clone https://huggingface.co/JiahaoLi/llama2-7b-MLC-q4f16-jetson-containers

Paso 4: Ejecutar el docker e instalar requisitos​

cd ../../
./run.sh $(./autotag mlc)
 # Here you will enter the Docker, and the commands below will run inside the Docker
cd data/RAG_based_on_Jetson/
pip install -r requirements.txt
pip install chromadb==0.3.29

Después de ejecutar pip install chromadb==0.3.29 obtendrás la interfaz como se muestra a continuación.

pir

note

Está bien ignorar el error.

Vamos a ejecutarlo​

# Run in the docker
python3 RAG.py

Perspectiva del Proyecto​

En este proyecto, los documentos TXT y PDF fueron analizados como bases de datos vectoriales, y se utilizó la tecnología RAG para reducir las alucinaciones del modelo sobre problemas específicos. En el futuro, utilizaremos modelos multimodales para soportar la recuperación de imágenes y videos.

Loading Comments...