Introducción a los Grandes Modelos de Lenguaje y Chatbots

Los chatbots representan una aplicación clave de la inteligencia artificial, utilizando procesamiento de lenguaje natural para interactuar con los usuarios a través de texto o voz. La base de muchos de estos sistemas modernos son los Grendes Modelos de Lenguaje (LLM, por sus siglas en inglés), capaces de comprender y generar texto de manera coherente y contextual.

Arquitectura para Implementaciones de Chatbots

La implementación de chatbots puede variar significativamente, desde configuraciones locales en ordenadores personales hasta despliegues en infraestructura en la nube:

• Implementación Local (PC Personal):
  • Interfaz de Usuario (Frontend): Chatbox AI, Streamlit
  • Motor de Modelos (Backend): Ollama
• Implementación en la Nube (Servidor Remoto):
  • Interfaz de Usuario (Frontend): Streamlit
  • Marco de Aplicación (Backend): LangChain, servicios de proveedores de nube (por ejemplo, Alibaba Cloud)

Explorando Ollama para LLMs Locales

Ollama es una herramienta de código abierto diseñada para simplificar la ejecución y gestión de grandes modelos de lenguaje en máquinas locales. Proporciona una plataforma ágil y extensible que permite a los desarrolladores importar, personalizar y operar LLMs sin la complejidad de las configuraciones subyacentes. Su biblioteca oficial, disponible en ollama.com/library, ofrece una amplia gama de modelos optimizados para diversas tareas, incluyendo generación de texto y código, y razonamiento multimodal.

Configuración del Entorno en Windows 11

1. Instalación y Configuración de Ollama en Windows 11

1. Descarga: Visite el sitio web oficial de Ollama, ollama.com, y descargue el instalador para Windows.

2. Instalación: Ejecute el archivo de instalación, usualmente llamado OllamaSetup.exe, y siga las instrucciones.

3. Verificación de la Instalación: Abra una ventana de Símbolo del Sistema (Win + R, luego cmd) y ejecute ollama -v. Si la versión de Ollama se muestra correctamente, la instalación base ha sido exitosa.

4. **Cambio de Ubicación de Datos (Opcional pero Recomendado):**Por defecto, Ollama se instala en C:\Users\[su_nombre_de_usuario]\AppData\Local\Programs\Ollama y almacena los modelos en C:\Users\[su_nombre_de_usuario]\.ollama\models. Para cambiar estas ubicaciones:

   1. Cree una nueva carpeta para Ollama en el disco deseado, por ejemplo, D:\Ollama. Dentro de esta, cree una subcarpeta models (D:\Ollama\models).

   2. Mueva el contenido de C:\Users\[su_nombre_de_usuario]\AppData\Local\Programs\Ollama a D:\Ollama.

   3. Mueva el contenido de C:\Users\[su_nombre_de_usuario]\.ollama\models a D:\Ollama\models.

   4. **Configuración de Variables de Entorno:**Acceda a la configuración del sistema (haga clic derecho en "Este Equipo" -> "Propiedades" -> "Información del sistema" -> "Configuración avanzada del sistema" -> "Variables de entorno").

      • En las variables del sistema, edite la variable Path y añada D:\Ollama\.
      • Cree una nueva variable de sistema llamada OLLAMA_MODELS con el valor D:\Ollama\models.

5. **Validación de la Nueva Configuración:**Abra una nueva ventana de Símbolo del Sistema y pruebe los siguientes comandos:

   • ollama --version: Debe mostrar la versión de Ollama.
   • ollama ls: Listará los modelos locales instalados (inicialmente ninguno).
   • ollama rm [nombre_del_modelo]: Elimina un modelo específico.
   • ollama run deepseek-r1:14b: Inicia un modelo localmente (si ya está descargado).

2. Despliegue de un Modelo LLM Privado con Ollama (Backend)

Para utilizar un modelo específico:

1. Navegue a la biblioteca de modelos de Ollama.
2. Seleccione el modelo deseado (por ejemplo, deepseek-r1:7b, adecuado para tarjetas gráficas como la 4060ti).
3. Copie el comando de descarga y ejecución, y péguelo en el Símbolo del Sistema: ``` ollama run deepseek-r1:7b

   
   La primera vez que ejecute este comando, Ollama descargará el modelo, lo cual puede tomar un tiempo dependiendo de su conexión a internet.
   
   

3. Configuración de Chatbox como Frontend para Ollama

Chatbox es una aplicación de chat inteligente de código abierto y multiplataforma, compatible con la API de OpenAI y otros proveedores, incluyendo Ollama.

1. Descarga e Instalación:
   • Descargue el instalador de Chatbox desde chatboxai.app/zh.
   • Ejecute el instalador y siga las instrucciones para completar la instalación.
2. Configuración de la API:
   • Abra Chatbox y navegue a "Configuración" -> "Proveedor de Modelo" -> "Ollama".
   • Seleccione "Usar su propia clave de API o modelo local". Haga clic en "Obtener" para detectar la API de Ollama (generalmente se añade automáticamente).
   • Asegúrese de que el "Dominio de la API de Ollama" utilice el valor predeterminado.
   • Confirme que el servicio de Ollama esté ejecutándose.
   • Seleccione el modelo deseado de la lista y guarde la configuración.
3. **Inicio de Conversación:**Cree una "Nueva Conversación" y seleccione el modelo de Ollama que ha configurado para comenzar a interactuar.

Configuración del Entorno en Linux

1. Preparación de la Plataforma Linux (WSL + Ubuntu)

1. Activación de WSL en Windows:
   • Busque "Panel de control" en el menú de inicio -> "Programas" -> "Programas y características" -> "Activar o desactivar las características de Windows".
   • Marque la opción "Subsistema de Windows para Linux" y reinicie su equipo.
2. Instalación de Ubuntu:
   • Abra la "Microsoft Store", busque "Ubuntu" y haga clic en "Obtener" para descargar e instalar.
   • Una vez instalado, abra Ubuntu, configure un nombre de usuario y una contraseña.
3. Configuración de Windows Terminal (Opcional):
   • Instale "Microsoft Terminal" desde la Microsoft Store.
   • Dentro de Terminal, haga clic en la flecha hacia abajo (junto al signo +) y seleccione "Ubuntu".
   • Para configurar Ubuntu como perfil predeterminado, vaya a "Configuración" en el menú desplegable y cambie el perfil de inicio predeterminado a Ubuntu.

2. Instalación y Uso de Ollama en un Sistema Linux (con soporte CUDA)

1. **Descarga del Paquete Ollama para Linux:**Descargue el archivo tarball de Ollama desde el siguiente enlace, o utilice wget:

   wget https://ollama.com/download/ollama-linux-amd64.tgz
   

2. **Instalación en Linux:**Mueva el archivo descargado a su directorio de inicio y extráigalo:

   cp ollama-linux-amd64.tgz ~/<br></br>cd ~/<br></br>sudo tar -xvf ollama-linux-amd64.tgz -C /usr
   

   Se le pedirá su contraseña de superusuario.

3. **Inicio Manual del Servicio Ollama (Para Pruebas):**Puede iniciar Ollama directamente para probar su funcionamiento:

   ollama serve
   

   Para detenerlo, presione Ctrl+C.

4. **Configuración del Usuario Ollama:**Cree un usuario del sistema para Ollama y añada su usuario actual al grupo ollama:

   sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama<br></br>sudo usermod -a -G ollama $(whoami)
   

5. **Configuración de Ollama como Servicio del Sistema (systemd):**Cree y edite el archivo de servicio ollama.service:

   sudo vim /etc/systemd/system/ollama.service
   

   Pegue el siguiente contenido en el editor y guarde (:wq):

   [Unit]
   Description=Ollama Service
   After=network-online.target
   
   [Service]
   ExecStart=/usr/bin/ollama serve
   User=ollama
   Group=ollama
   Restart=always
   RestartSec=3
   Environment="PATH=$PATH"
   
   [Install]
   WantedBy=multi-user.target
   

6. Recarga y Gestión del Servicio:

   • Recargue los demonios de systemd: ``` sudo systemctl daemon-reload

   • Inicie el servicio Ollama: ``` sudo systemctl start ollama

   • Verifique el estado del servicio: ``` sudo systemctl status ollama

     
     Asegúrese de que el estado indique "active (running)".
     

7. **Descarga de un Modelo LLM:**Descargue el modelo deseado (por ejemplo, deepseek-r1:7b):

   ollama pull deepseek-r1:7b
   

   Este paso también puede ocurrir automáticamente la primera vez que intente ejecutar un modelo no descargado.

   Para verificar la ubicación de los archivos del modelo (opcional):

   cd ~/.ollama/models/blobs/<br></br>ls -l
   

8. **Ejecución del Modelo:**Para iniciar una sesión de chat con el modelo:

   ollama run deepseek-r1:7b
   

   Si su sistema cuenta con una GPU compatible con CUDA, la actividad de la GPU debería aumentar durante el uso del modelo, indicando la aceleración.

3. Preparación del Entorno Python en Linux

1. Creación de un Entorno Virtual: ``` python3 -m venv mi_entorno_llm

2. Activación del Entorno Virtual: ``` source mi_entorno_llm/bin/activate

3. Instalación de Pip: ``` sudo apt updatesudo apt install python3-pip

4. **Instalación de Librerías Python:**Con el entorno virtual activado, instale las bibliotecas necesarias:

   pip install ollama<br></br>pip install streamlit
   

5. **Configuración en PyCharm (Opcional):**Si usa PyCharm, cree un nuevo proyecto WSL y configure el intérprete de Python para que apunte al ejecutable bin/python3.xx dentro de su entorno virtual recién creado (mi_entorno_llm).