Friki Work

En el ecosistema de Apache Flume, las fuentes (sources) actúan como el punto de entrada para los eventos. Existen dos interfaces principales para implementar fuentes personalizadas: PollableSource y EventDrivenSource. La principal diferencia radica en su modelo de ejecución: PollableSource: Utiliza un modelo de "tirón" (pull). Un hil ...

kcat, un cliente de línea de comandos versátil para Apache Kafka que no requiere JVM, se presenta como una alternativa potente a herramientas como netcat. Esta guía se centra en las configuraciones avanzadas de grupos de consumidores para clientes kcat, proporcionando una perspectiva práctica sobre cómo lograr un equilibrio óptimo en la distrib ...

Los desafíos de ETL en la era del flujo masivo de datos A las tres de la madrugada, en el centro de datos, los indicadores de los servidores parpadean en la oscuridad. Li, un ingeniero, observa la gráfica que sube repentinamente en la pantalla de monitoreo, con gotas de sudor en su frente: la tarea de extracción incremental implementada anoche ...

Preguntas sobre experiencia laboral y proyectos Describe un proyecto relevante en el que hayas participado, incluyendo su contexto, tecnologías utilizadas y tu rol dentro del equipo. ¿Cuántos microservicios formaban parte del sistema? ¿Cómo se implementaron las transacciones distribuidas? ¿Qué rol cumplió Dubbo en la comunicación entre servicio ...

ClickHouse se ha implementado como backend para sistemas de BI en tiempo real, demostrando excelente rendimiento en generación de reportes y consultas ad-hoc cuando los datos están correctamente almacenados. A continuación comparto aprendizajes clave tras su implementación con Flink y Kafka. Integración con MySQL ClickHouse permite acceder dire ...

Este documento detalla el proceso de instalación y configuración de Apache Kafka en un entorno Windows, junto con ejemplos prácticos de cómo utilizarlo para enviar y recibir mensajes mediante Java. Instalación de Kafka en Windows Para comenzar, descargue la última versión binaria de Kafka desde el sitio oficial: http://kafka.apache.org/download ...

Causas Raíz de Cuellos de Botella en Kafka El rendimiento de Kafka depende críticamente de tres recursos: memoria, disco y red. Errores comunes incluyen: 1.1 Configuración Incorrecta de Memoria Kafka utiliza principalmente el PageCache del SO para almacenar mensajes, no el heap de la JVM. Un heap excesivo reduce memoria disponible para PageC ...

Cuando se utiliza Kafka con Spark Streaming y se almacenan los offsets en Zookeeper, es común enfrentarse al error kafka.common.OffsetOutOfRangeException tras un periodo de inactividad. Este problema ocurre cuando Kafka ha ejecutado su política de retención y limpieza de logs, eliminando los mensajes más antiguos. Al intentar reanudar el consum ...

Introducción a los sistemas NoSQL Las bases de datos NoSQL representan un enfoque alternativo a los sistemas relacionales tradicionales. Están diseñadas para manejar datos no estructurados o semi-estructurados, ofreciendo flexibilidad en el esquema y escalabilidad horizontal. Entre los tipos más comunes se encuentran las almacenes clave-valor, ...

Para habilitar la compresión LZO en Hadoop, es necesario utilizar el componente open-source hadoop-lzo desarrollado por Twitter, ya que Hadoop no lo incluye de manera nativa. El proceso implica compilar hadoop-lzo con dependencias en Hadoop y LZO, seguido de configuraciones específicas en el clúster y herramientas asociadas como Hive y Flume. C ...