Friki Work

El método aggregate en Apache Spark permite realizar agregaciones personalizadas en conjuntos de datos distribuidos (RDDs). Esta función es útil cuando se necesitan operaciones complejas que no se ajustan a métodos predefinidos como reduce o fold. Parámetros y funcionamiento El método acepta tres argumentos clave: zeroValue: Un valor inicial d ...

Scala, acrónimo de Scalable Language, es un lenguaje de programación multi-paradigma diseñado para integrar de manera fluida las características de la programación orientada a objetos y la programación funcional. Desarrollado por Martin Odersky en la EPFL, Scala se ejecuta sobre la Máquina Virtual de Java (JVM), lo que le permite aprovechar tod ...

Angel es un sistema de Parameter Server (PS) de alto rendimiento diseñado para manejar modelos de aprendizaje automático masivos que superan la capacidad de memoria de una sola máquina. Su arquitectura permite desacoplar el almacenamiento de parámetros del cálculo, optimizando la comunicación y la escalabilidad en entornos distribuidos. Arquite ...

Utilizando MLLib en Scala Los siguientes fragmentos de código pueden ser ejecutados en spark-shell. Clasificación Binaria El siguiente fragmento de código ilustra cómo cargar un conjunto de datos de ejemplo, ejecutar un algoritmo de entrenamiento en estos datos utilizando un método estático en el objeto del algoritmo, y realizar predicciones co ...

Arquitectura y Fundamentos de Scalding Scalding es una biblioteca de Scala construida sobre el framework Cascading, diseñada para abstraer la cmoplejidad inherente de Hadoop MapReduce. Al aprovechar el paradigma de programación funcional y el sistema de tipos de Scala, permite definir flujos de datos complejos de manera declarativa, eliminando ...

Cuando se utiliza Kafka con Spark Streaming y se almacenan los offsets en Zookeeper, es común enfrentarse al error kafka.common.OffsetOutOfRangeException tras un periodo de inactividad. Este problema ocurre cuando Kafka ha ejecutado su política de retención y limpieza de logs, eliminando los mensajes más antiguos. Al intentar reanudar el consum ...

Introducción al Backend de Lichess Lichess es una plataforma de ajedrez de código abierto, libre de anuncios y completamente gratuita. Su núcleo está desarrollado en Scala, aprovechando el framework Play. A continuación, se detalla el proceso técnico para levantar un entorno de desarrollo local. Requisitos del Sistema y Hardware Dependencias de ...

Tipos Tipo ::= ArgumentosFun '=>' Tipo | TipoInfixo [CláusulaExistencial] ArgumentosFun ::= TipoInfixo | '(' [ TipoParam {',' TipoParam } ] ')' CláusulaExistencial ::= 'forSome' '{' DeclaraciónExistencial {puntoYComa DeclaraciónExistencial} '}' ...

En Apache Spark, las Funciones Definidas por el Usuario (UDF) con nombres idénticos pueden causar ambigüedad en la ejecución de operaciones. Este documento analiza los mecanismos de Spark para determinar qué función se invoca en una cadena de operadores y propone estrategias para prevenir conflictos. Escenarios de Conflictos de Nombres Los conf ...

En el procesamiento por lotes con Apache Flink, las salidas de datos (sinks) se utilizan para dirigir los resultados a distintos destinos. Dos enfoques comunes son las basadas en colecciones locales y las basadas en archivos, cada una con sus aplicaciones específicas. Salidas Basadas en Colecciones Locales Este método permite anviar datos a la ...