Friki Work

Introducción a las Variables Copmartidas En el entorno de procesamiento distribuido de Spark, el manejo de estado global reuqiere mecanismos específicos para evitar inconsistencias. Para facilitar la estadística y administración de información común, el framework proporciona dos tipos de variables compartidas: las variables Broadcast (solo lect ...

Visión General de Spark SQL Spark SQL es el módulo de Spark diseñado para el procesamiento de datos estructurados. Proporciona una interfaz unificada para procesar datos tanto en Spark RDDs como en fuentes de datos estructuradas como Hive, Parquet, JSON, etc. Evolución de Hive y Spark SQL Spark SQL tiene sus raíces en Shark, un proyecto q ...

Structured Streaming ofrece una interfaz que permite monitorear el ciclo de vida completo de las consultas de streaming. Esta funcionalidad resulta particularmente útil para implementar sistemas de monitoreo y alertas en tiempo real. La interfaz StreamingQueryListener Esta clase abstracta proporciona tres métodos que se invocan en diferentes mo ...