En el dinámico panorama de la inteligencia artificial, el desarrollo de aplicaciones basadas en modelos de lenguaje grandes (LLM) se ha convertido en una habilidad esencial. El proyecto llm-universe proporciona una plataforma integral, diseñada para desarrolladores de cualquier nivel, que desean iniciarse en este campo. Al integrar el moderno marco LangChain (versión 0.3), esta guía ofrece una ruta clara que abarca desde la configuración inicial del entorno hasta el despliegue de aplicaciones funcionales.

Una ilustración del flujo de trabajo completo, que muestra las fases desde la configuración del entorno hasta la implementación de una aplicación de LLM, acompaña los conceptos presentados en este tutorial.

Primeros Pasos: Configuración del Entorno de Desarrollo

Comenzar a desarrollar con modelos de lenguaje grandes es sencillo siguiendo estos tres pasos fundamentales para preparar su entorno.

1. Obtención del Código Fuente

Inicie clonando el repositorio del proyecto en su máquina local o servidor remoto:

git clone https://gitcode.com/datawhalechina/llm-universe
cd llm-universe

2. Instalación de Dependencias Clave

El proyecto incluye una lista completa de dependencias, las cuales pueden instalarse con un único comando:

pip install -r requirements.txt

Los componentes esenciales instalados incluyen:

• langchain==0.3.0: El marco principle para la construcción de aplicaciones con LLMs.
• langchain-community==0.3.0: Herramientas y utilidades de integración comunitaria para LangChain.
• streamlit==1.43.0: Utilizado para el desarrollo de interfaces de usuario web interactivas.
• zhipuai==2.1.5.20250106: Proporciona soporte para la API de Zhipu AI.
• qianfan==0.4.12.3: Permite la conectividad con el modelo Wenxin de Baidu.

3. Configuración del Entorno de Desarrollo

Seleccione el entorno que mejor se adapte a sus necesidades:

Desarrollo Local

Para aquellos con un equipo con recursos adecuados, simplemente abra la carpeta del proyecto en VSCode e instale las extensiones recomendadas para iniciar el desarrollo.

Servidor en la Nube

Esta opción es altamente recomendable para principiantes. Muchos proveedores de servicios en la nube ofrecen planes de prueba o tarifas reducidas para nuevos usuarios.

Una imagen de un portal de registro de estudiantes para servicios en la nube puede ilustrar el proceso de acceso a beneficios.

Configuración sugerida para el servidor:

• 2 núcleos de CPU con 2GB o 4GB de RAM.
• Sistema operativo Ubuntu.
• Un presupuesto mensual para tráfico de red.

Conexión Remota a través de VSCode

Para conectarse a un servidor remoto mediante VSCode, siga estos pasos:

1. Instale la extensión "Remote - SSH" en VSCode.

2. Obtenga la dirección IP pública de su servidor remoto.

3. Configure la conexión SSH con el comando: ssh -p 22 root@su_IP_de_servidor.

4. Una vez establecida la conexión, abra el directorio del proyecto en VSCode.

Una interfaz de VSCode que muestra la configuración de una conexión SSH a un servidor remoto ejemplifica este proceso.

Guía de Uso de Jupyter Notebook

El desarrollo en este proyecto se centra en Jupyter Notebook, una herramienta invaluable para la programación interactiva gracias a su capacidad para ejecutar código paso a paso, visualizar resultados instantáneamente y presentar contenido rico.

Operaciones Fundamentales

• Para ejecutar una celda de código, introduzca su código y presione Shift + Enter.
• Para crear y editar texto formateado, utilice las celdas de Markdown y renderícelas con Ctrl + Enter.

Atajos de Teclado Comunes

• A: Inserta una nueva celda encima de la actual.
• B: Inserta una nueva celda debajo de la actual.
• D (presionada dos veces): Elimina la celda actual.
• Y: Convierte la celda actual en una celda de código.
• M: Convierte la celda actual en una celda de Markdown.

Proyecto Práctico: Creación de un Asistente de Preguntas y Respuestas Basado en Conocimiento

El entorno llm-universe proporciona una implementación completa para construir un asistente de preguntas y respuestas utilizando una base de conocimientos. El proceso incluye las siguientes etapas:

1. Preparación de Datos: Recopilación y organización de los documentos que conformarán la base de conocimiento.

2. Procesamiento de Documentos: Utilización de herramientas de segmentación de texto de LangChain para preparar los documentos.

3. Almacenamiento Vectorial: Persistencia de los vectores de los documentos en una base de datos vectorial como Chroma.

4. Recuperación Aumentada (RAG): Implementación de la lógica de preguntas y respuestas basada en el patrón RAG.

5. Desarrollo de la Interfaz: Creación de una interfaz web interactiva con Streamlit.

Un diagrama de la arquitecutra de Generación Aumentada por Recuperación (RAG) se incluye para explicar el funcionamiento del sistema de preguntas y respuestas basado en conocimiento.

Los módulos clave para este proyecto se localizan en:

• Construcción de la base de conocimientos: notebook/C3_Construyendo_Base_Conocimientos/C3.ipynb
• Implementación del sistema RAG: notebook/C4_Desarrollando_Aplicacion_RAG/C4.ipynb
• Interfaz web: notebook/C4_Desarrollando_Aplicacion_RAG/streamlit_app.py

Resolución de Problemas Comunes

1. Fallos en la Instalación de Dependencias

Si encuentra dificultades al instalar las dependencias, se recomienda encarecidamente el uso de un entorno virtual:

python -m venv venv_llm
source venv_llm/bin/activate  # Para sistemas basados en Unix o macOS
venv_llm\Scripts\activate  # Para sistemas Windows
pip install -r requirements.txt

2. Problemas de Conexión al Servidor

• Asegúrese de que el puerto 22 esté abierto en el grupo de seguridad de su servidor.
• Verifique que la configuración de SSH sea correcta.
• Considere restablecer la contraseña de su instancia si persisten los problemas.

3. Configuración de Claves de API

Los secretos para las APIs de los modelos de lenguaje deben configurarse en el archivo .env, ubicado en el directorio raíz del proyecto, siguiendo este formato:

OPENAI_API_KEY=su_clave_OpenAI
ZHIPUAI_API_KEY=su_clave_ZhipuAI
QIANFAN_ACCESS_KEY=su_clave_acceso_Qianfan_Baidu
QIANFAN_SECRET_KEY=su_clave_secreta_Qianfan_Baidu