Friki Work

Introducción a SecGPT-14B para Seguridad Cibernética SecGPT-14B es un modelo de lenguaje grande de código abierto, especializado y optimizado para el dominio de la ciberseguridad. Sus capacidades fundamentales inculyen la comprensión del lenguaje natural, la generación de código y el razonamiento basado en conocimientos de seguridad. Esto permi ...

Prerrequisitos Antes de comenzar, asegúrese de cumplir con estos requisitos: Sistema operatiov Linux o compatible Docker instalado y configurado Conda disponible en el sistema host Archivos del proyecto: código del servicio, pesos de modelos y entornos Conda empaquetados Estructura del Proyecto raiz-proyecto/ ├── frontend/ │ ├── inicio.py │ ...

La cuantización de modelos de lenguaje grandes (LLMs) es crucial para desplegarlos en hardware con recursos limitados. Un modelo LLM sin cuantizar, como Qwen3:30b, puede ocupar cerca de 60GB, lo que impide su ejecución en una sola GPU de consumo (por ejemplo, una 4090/5090). La cuantización, especialmante a 4 bits (q4), permite la inferencia en ...

Arquitectura del Modelo y Motor de Inferencia GLM-4-9B-Chat-1M no es una simple actualización incremental; representa un salto cualitativo en el procesamiento de contextos extensos. Basado en la arquitectura de Zhipu AI, este modelo integra nativamente una ventana de contexto de 1 millón de tokens (aproximadamente 2 millones de caracteres en es ...

Introducción al monitoreo por latido para servicios de modelos Implementar mecanismos de detección de latido es esencial para garantizar la disponibilidad continua de servciios de inferencia de modelos de lenguaje grandes. Este enfoque permite identificar fallos de servicio de manera proactiva, evitando tiempos de inactividad no detectados. Car ...

1.1 Proceso de Instalación # Para CUDA/CPU pip install "xinference[transformers]" pip install "xinference[vllm]" pip install "xinference[sglang]" # Para Metal(MPS) pip install "xinference[mlx]" CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python Nota: Debido a posibles problemas de con ...

Introducción al framework vLLM vLLM es una biblioteca de código abierto de alto rendimiento para la inferencia y el servicio de modelos de lenguaje grandes (LLM), diseñada para ofrecer despliegues rápidos y eficientes. Originada en el laboratorio de computación en la nube de la Universidad de California, Berkeley, el proyecto ha evolucionado ha ...

Introducción: ¿Por qué elegir LoRA para la adaptación de modelos? En el contexto del amplio despliegue de los grandes modelos de lenguaje (LLM), lograr la adaptación eficiente y de bajo costo de un modelo pre-entrenado generalista a escenarios de negocio específicos es un desafío clave para la implementación en ingeniería. El ajuste fino comple ...

Introdcución a la necesidad de salidas estructuradas En el desarrollo de aplicaciones con modelos de lenguaje grandes (LLM), las respuestas en texto libre pueden ser complicadas de procesar de manera automática. Para integrar estas salidas en sistemas como asistentes virtuales o servicios de API, es esencial utilizar formatos estandarizados com ...

El estándar de la API de OpenAI se ha consolidado como la interfaz predominante para interactuar con modelos de lenguaje de gran escala (LLM). Herramientas como vLLM (motor de inferencia de alto rendimiento) y Ollama (solución ligera para ejecución local) han adoptado esta especificación para permitir que los desarrolladores migren sus aplicaci ...