Friki Work

Soluciones de IA Local para la Comunicación Técnica Global En el ecosistema del software de código abierto, la barrera idiomática sigue siendo uno de los obstáculos más significativos para la adopción y mantenimiento de proyectos. Un desarrollador individual puede tener una solución técnica sólida, pero si no puede interactuar efectivamente con ...

Conexión de Asistentes IA Locales con Infraestructura Corporativa La integración de capacidades de lenguaje avanzado en sistemas operativos tradicionales como CRMs o paneles de gestión administrativa requiere una arquitectura robusta que garantice privacidad y baja latencia. En este contexto, ClawdBot se posiciona como una solución de referenci ...

Al implementar PaddleOCR-VL, es fundamental entender que su arquitectura consta de dos componentes clave: un modelo de detección de estructura visual (layout detection) y un modelo de lenguaje-vision (VLM). Aunque los servicios de inferencia vLLM en Hugging Face solo incluyen el componente VLM, el modelo de detección de layout debe ejecutarse p ...

Implementación de LightOnOCR-2-1B: Guía Paso a Paso para CentOS 7 LightOnOCR-2-1B es un modelo de OCR multilingüe con capacidad para 11 idiomas. Este artículo detalla cómo establecer el entorno completo para su despliegue. Requisitos Previos del Sistema Antes de iniciar, asegúrese de que su sistema cumple con los requisitos básicos. Como mod ...

Despliegue local de un servicio de modelo LLM con Qwen2.5-7B-Instruct Introducción técnica En el ecosistema actual de inteligencia artificial, la implementación local de modelos de lenguaje grandes (LLM) ofrece ventajas críticas como control total sobre datos sensibles, reducción de latencia y personalización profunda. Este artículo detalla la ...

Después del lanzamiento de DeepSeek-R1, iniciamos el proyecto open-r1 hace una semana para replicar su flujo de entrenamiento y datos sintéticos. Esta actualización cubre: Progreso en la imitación del flujo y datos de DeepSeek-R1 Comprensiones y discusiones sobre DeepSeek-R1 Proyectos interesantes de la comunidad tras el lanzamiento Progreso ...

La transición desde entornos locales basados en Ollama hacia una infraestructura de inferencia robusta con vLLM representa un salto arquitectónico fundamental. Ollama opera como un envoltorio de procesos en una máquina individual, limitado por un modelo de ejecución secuencial y bloqueante. Esto se manifiesta en una incapacidad para manejar la ...

Introdcución al modelo y contexto del problema Kimi-VL-A3B-Thinking es un modelo de lenguaje visual basado en arquitectura de expertos mixtos (MoE), desplegado mediante vLLM, que ofrece capacidades avanzadas de razonamiento multimodal. Con solo 2.8B parámetros activos, logra un rendimiento comparable a modelos de mayor escala. Durante su implem ...

Arquitectura y Características de vLLM vLLM se ha consolidado como una biblioteca de inferencia de alto rendimiento para modelos de lenguaje grande (LLM). La versión 0.17.1 introduce mejoras sustanciales en la gestión de memoria y la ejecución de gráficos, siendo adoptada tanto en laboratorios de investigación como en entornos corporativos. Inn ...

Ventajas de un modelo pequeño en producción local Qwen2.5-0.5B-Instruct es el miembro más ligero de la familia Qwen2.5 de Alibaba. Con apenas medio billón de parámetros, su versión fp16 ocupa alrededor de 1 GB y una versión cuantizada puede reducirse a menos de 300 MB. Esto permite ejecutarlo cómodamente en equipos con 4 GB de RAM, Raspberry ...