Friki Work

Los desafíos de ETL en la era del flujo masivo de datos A las tres de la madrugada, en el centro de datos, los indicadores de los servidores parpadean en la oscuridad. Li, un ingeniero, observa la gráfica que sube repentinamente en la pantalla de monitoreo, con gotas de sudor en su frente: la tarea de extracción incremental implementada anoche ...

Preguntas sobre experiencia laboral y proyectos Describe un proyecto relevante en el que hayas participado, incluyendo su contexto, tecnologías utilizadas y tu rol dentro del equipo. ¿Cuántos microservicios formaban parte del sistema? ¿Cómo se implementaron las transacciones distribuidas? ¿Qué rol cumplió Dubbo en la comunicación entre servicio ...

ClickHouse se ha implementado como backend para sistemas de BI en tiempo real, demostrando excelente rendimiento en generación de reportes y consultas ad-hoc cuando los datos están correctamente almacenados. A continuación comparto aprendizajes clave tras su implementación con Flink y Kafka. Integración con MySQL ClickHouse permite acceder dire ...

Este documento detalla el proceso de instalación y configuración de Apache Kafka en un entorno Windows, junto con ejemplos prácticos de cómo utilizarlo para enviar y recibir mensajes mediante Java. Instalación de Kafka en Windows Para comenzar, descargue la última versión binaria de Kafka desde el sitio oficial: http://kafka.apache.org/download ...

Causas Raíz de Cuellos de Botella en Kafka El rendimiento de Kafka depende críticamente de tres recursos: memoria, disco y red. Errores comunes incluyen: 1.1 Configuración Incorrecta de Memoria Kafka utiliza principalmente el PageCache del SO para almacenar mensajes, no el heap de la JVM. Un heap excesivo reduce memoria disponible para PageC ...

Cuando se utiliza Kafka con Spark Streaming y se almacenan los offsets en Zookeeper, es común enfrentarse al error kafka.common.OffsetOutOfRangeException tras un periodo de inactividad. Este problema ocurre cuando Kafka ha ejecutado su política de retención y limpieza de logs, eliminando los mensajes más antiguos. Al intentar reanudar el consum ...

Introducción a los sistemas NoSQL Las bases de datos NoSQL representan un enfoque alternativo a los sistemas relacionales tradicionales. Están diseñadas para manejar datos no estructurados o semi-estructurados, ofreciendo flexibilidad en el esquema y escalabilidad horizontal. Entre los tipos más comunes se encuentran las almacenes clave-valor, ...

Para habilitar la compresión LZO en Hadoop, es necesario utilizar el componente open-source hadoop-lzo desarrollado por Twitter, ya que Hadoop no lo incluye de manera nativa. El proceso implica compilar hadoop-lzo con dependencias en Hadoop y LZO, seguido de configuraciones específicas en el clúster y herramientas asociadas como Hive y Flume. C ...

En el ecosistema actual de sistemas distribuidos, las colas de mensajes se han consolidado como infraestructura crítica. Ya sea para gestionar picos de tráfico en comercio electrónico, centralizar registros, procesar flujos de datos en tiempo real o facilitar la comunicación asíncrona entre microservicios, estos componentes garantizan la estabi ...

Apache Kafka se ha consolidado como el estándar de facto para sistemas de mensajería distribuidos. Este artículo te guiará a través de la integración práctica de Kafka con Spring Boot, cubirendo el desarrollo completo de productores y consumidores. Conceptos Clave de Kafka Productor (Producer): Entidad que envía mensajes. Consumidor (Consumer) ...