Friki Work

Arquitectura y Fundamentos de Scalding Scalding es una biblioteca de Scala construida sobre el framework Cascading, diseñada para abstraer la cmoplejidad inherente de Hadoop MapReduce. Al aprovechar el paradigma de programación funcional y el sistema de tipos de Scala, permite definir flujos de datos complejos de manera declarativa, eliminando ...

Cuando se utiliza Kafka con Spark Streaming y se almacenan los offsets en Zookeeper, es común enfrentarse al error kafka.common.OffsetOutOfRangeException tras un periodo de inactividad. Este problema ocurre cuando Kafka ha ejecutado su política de retención y limpieza de logs, eliminando los mensajes más antiguos. Al intentar reanudar el consum ...

Introducción al Backend de Lichess Lichess es una plataforma de ajedrez de código abierto, libre de anuncios y completamente gratuita. Su núcleo está desarrollado en Scala, aprovechando el framework Play. A continuación, se detalla el proceso técnico para levantar un entorno de desarrollo local. Requisitos del Sistema y Hardware Dependencias de ...

Tipos Tipo ::= ArgumentosFun '=>' Tipo | TipoInfixo [CláusulaExistencial] ArgumentosFun ::= TipoInfixo | '(' [ TipoParam {',' TipoParam } ] ')' CláusulaExistencial ::= 'forSome' '{' DeclaraciónExistencial {puntoYComa DeclaraciónExistencial} '}' ...

En Apache Spark, las Funciones Definidas por el Usuario (UDF) con nombres idénticos pueden causar ambigüedad en la ejecución de operaciones. Este documento analiza los mecanismos de Spark para determinar qué función se invoca en una cadena de operadores y propone estrategias para prevenir conflictos. Escenarios de Conflictos de Nombres Los conf ...

En el procesamiento por lotes con Apache Flink, las salidas de datos (sinks) se utilizan para dirigir los resultados a distintos destinos. Dos enfoques comunes son las basadas en colecciones locales y las basadas en archivos, cada una con sus aplicaciones específicas. Salidas Basadas en Colecciones Locales Este método permite anviar datos a la ...

En entornos de streaming con Apache Kafka y Apache Spark, es común encontrarse con excepciones relacionadas con la configuración del consumidor. Un error frecuente es la IllegalStateException que indica que el consumidor no está suscrito a ningún tópico ni asignado a ninguna partición. Esto ocurre al intentar obtaner datos sin haber establecido ...

La combinación de Apache Spark y Kudu ofrece soporte para múltiples funcionalidades: Operaciones DDL (creación y eliminación de tablas) RDD nativo de Kudu Fuante de datos nativa para integración con DataFrames Lectura directa desde Kudu Ejecución de inserciones, actualizaciones, upserts y eliminaciones Optimización mediante predicate pushdown ...

Structured Streaming ofrece una interfaz que permite monitorear el ciclo de vida completo de las consultas de streaming. Esta funcionalidad resulta particularmente útil para implementar sistemas de monitoreo y alertas en tiempo real. La interfaz StreamingQueryListener Esta clase abstracta proporciona tres métodos que se invocan en diferentes mo ...

Al implementar la función sigmoide en Scala, existen varias formas de calcularla. Este artículo compara el rendimiento de tres enfoques: la fórmula directa, el uso de la biblioteca breeze.numerics y una función definida por el usuario, tanto sobre valores escalares como sobre vectores. Se preparó una secuencia de 20000 números aleatorios de tip ...