Friki Work

Evolución de la Arquitectura Fase 1: Flink en Hadoop YARN + Apache Airflow Stack técnico: Apache Flink: Procesamiento de flujos con baja latencia Hadoop YARN: Gestión de recursos en clúster existente Apache Airflow: Orquestación de trabajos y dependencias Implementación: Jobs empaquetados en JAR almacenados en S3 Airflow DAG define lanzami ...

Gestión de Metadatos y Resolución de Conflictos en HDFS El mecanismo de checkpointing es vital para la persistencia del sistema de archivos distribuido. Durante este proceso, el NameNode y el Secondary NameNode interactúan utilizando dos componentes principales: fsimage y los logs de edición (edits). El archivo fsimage actúa como una instantáne ...

Este guía detalla la configuración de un clúster Hadoop 2.7.1 en modo totalmente distribuido en CentOS, utilizando tres nodos para lograr alta disponibilidad en HDFS y YARN. Requisitos previos Tres máquinas virtuales o físicas con CentOS instalado. Paquete de Hadoop 2.7.1 descargado (por ejemplo, hadoop-2.7.1-64bit.tar.gz). Acceso root a todos ...

Problemas con la instalación tradicional de Node.js Node.js es una herramienta esencial en el desarrollo frontend. Si utiliza el método de instalación con paquetes binarios para instalar Node.js, con el tiempo enfrentará problemas directamente relacionados con: versiones de Node.js demasiado nuevas o demasiado antiguas. Al iniciar nuevos proye ...

Diseño de la Topología del Clúster Para garantizar la tolerancia a fallos y la escalabliidad, esta implementación utiliza una arquitectura de Alta Disponibilidad (HA) sobre la distribución CDH5. El entorno consta de cinco nodos físicos o virtuales, segregando los roles de gestión (NameNode y ResourceManager) de los roles de trabajo y coordinaci ...