Friki Work

Despliegue local de un servicio de modelo LLM con Qwen2.5-7B-Instruct Introducción técnica En el ecosistema actual de inteligencia artificial, la implementación local de modelos de lenguaje grandes (LLM) ofrece ventajas críticas como control total sobre datos sensibles, reducción de latencia y personalización profunda. Este artículo detalla la ...

Después del lanzamiento de DeepSeek-R1, iniciamos el proyecto open-r1 hace una semana para replicar su flujo de entrenamiento y datos sintéticos. Esta actualización cubre: Progreso en la imitación del flujo y datos de DeepSeek-R1 Comprensiones y discusiones sobre DeepSeek-R1 Proyectos interesantes de la comunidad tras el lanzamiento Progreso ...

La transición desde entornos locales basados en Ollama hacia una infraestructura de inferencia robusta con vLLM representa un salto arquitectónico fundamental. Ollama opera como un envoltorio de procesos en una máquina individual, limitado por un modelo de ejecución secuencial y bloqueante. Esto se manifiesta en una incapacidad para manejar la ...

Introdcución al modelo y contexto del problema Kimi-VL-A3B-Thinking es un modelo de lenguaje visual basado en arquitectura de expertos mixtos (MoE), desplegado mediante vLLM, que ofrece capacidades avanzadas de razonamiento multimodal. Con solo 2.8B parámetros activos, logra un rendimiento comparable a modelos de mayor escala. Durante su implem ...

Arquitectura y Características de vLLM vLLM se ha consolidado como una biblioteca de inferencia de alto rendimiento para modelos de lenguaje grande (LLM). La versión 0.17.1 introduce mejoras sustanciales en la gestión de memoria y la ejecución de gráficos, siendo adoptada tanto en laboratorios de investigación como en entornos corporativos. Inn ...

Ventajas de un modelo pequeño en producción local Qwen2.5-0.5B-Instruct es el miembro más ligero de la familia Qwen2.5 de Alibaba. Con apenas medio billón de parámetros, su versión fp16 ocupa alrededor de 1 GB y una versión cuantizada puede reducirse a menos de 300 MB. Esto permite ejecutarlo cómodamente en equipos con 4 GB de RAM, Raspberry ...

Introducción a SecGPT-14B para Seguridad Cibernética SecGPT-14B es un modelo de lenguaje grande de código abierto, especializado y optimizado para el dominio de la ciberseguridad. Sus capacidades fundamentales inculyen la comprensión del lenguaje natural, la generación de código y el razonamiento basado en conocimientos de seguridad. Esto permi ...

Prerrequisitos Antes de comenzar, asegúrese de cumplir con estos requisitos: Sistema operatiov Linux o compatible Docker instalado y configurado Conda disponible en el sistema host Archivos del proyecto: código del servicio, pesos de modelos y entornos Conda empaquetados Estructura del Proyecto raiz-proyecto/ ├── frontend/ │ ├── inicio.py │ ...

La cuantización de modelos de lenguaje grandes (LLMs) es crucial para desplegarlos en hardware con recursos limitados. Un modelo LLM sin cuantizar, como Qwen3:30b, puede ocupar cerca de 60GB, lo que impide su ejecución en una sola GPU de consumo (por ejemplo, una 4090/5090). La cuantización, especialmante a 4 bits (q4), permite la inferencia en ...

Arquitectura del Modelo y Motor de Inferencia GLM-4-9B-Chat-1M no es una simple actualización incremental; representa un salto cualitativo en el procesamiento de contextos extensos. Basado en la arquitectura de Zhipu AI, este modelo integra nativamente una ventana de contexto de 1 millón de tokens (aproximadamente 2 millones de caracteres en es ...