RAG local basado en la Jetson con LlamaIndex
Introducción
Hoy en día, cada vez más personas están empezando a utilizar LLM's para resolver problemas cotidianos. Sin embargo, los LLM's pueden alucinar y proporcionar a los usuarios información incorrecta al responder ciertas preguntas. Sin embargo, la tecnología RAG puede reducir la aparición de alucionaciones al proporcionar datos relevantes a los LLM's. Por lo tanto, utilizar la tecnología RAG para reducir la generación de alucinaciones en LLM's se ha convertido en una tendencia.
Y aquí les presentamos RAG basado en la Jetson, que utiliza LlamaIndex como marco RAG, ChromaDB como base de datos vectorial y el modelo cuantificado Llama2-7b LLM MLC como modelo de preguntas y respuestas. Con este proyecto RAG local, puedes proteger la privacidad de tus datos y tener una experiencia de comunicación de baja latencia.
Componentes del Hardware
| reComputer (potenciada por Jetson con RAM >= 16GB) |
|---|
 |
Preparar el entorno de ejecución
Paso 1: Instala el contenedor MLC Jetson
# Install jetson-container and its requirements
git clone --depth=1 https://github.com/dusty-nv/jetson-containers
cd jetson-containers
pip install -r requirements.txt
Paso 2: instalar el proyecto
# Install RAG project
cd data
git clone https://github.com/Seeed-Projects/RAG_based_on_Jetson.git
Paso 3: Instalar el modelo Llama2-7b cuantificado por MLC LLM
# Install LLM model
sudo apt-get install git-lfs
cd RAG_based_on_Jetson
git clone https://huggingface.co/JiahaoLi/llama2-7b-MLC-q4f16-jetson-containers
Paso 4: Ejecuta la ventana acoplable e instala los requisitos
cd ../../
./run.sh $(./autotag mlc)
# Here you will enter the Docker, and the commands below will run inside the Docker
cd data/RAG_based_on_Jetson/
pip install -r requirements.txt
pip install chromadb==0.3.29
Después de ejecutar pip install chromadb==0.3.29 obtendrás la interfaz como se muestra a continuación.
:::nota Está bien ignorar el error. :::
Corramos el programa
# Run in the docker
python3 RAG.py
Perspectivas del proyecto
En este proyecto, se analizaron documentos TXT y PDF como bases de datos vectoriales y se utilizó la tecnología RAG para reducir las alucinaciones del modelo sobre problemas específicos. En el futuro, utilizaremos modelos multimodales para admitir la recuperación de imágenes y vídeos.