Descripción de Versiones
| Versión | Descripción |
|---|---|
| hadoop-1.3 | Imagen monocapa de Hadoop para despliegue rápido de un entorno standalone. También permite crear múltiples contenedores con confgiuraciones mínimas para formar un cluster de alta disponibilidad. |
| hadoop-1.4 | Construida sobre la imagen base de Hadoop standalone. Incluye Hive data warehouse instalado y configurado con Iceberg, lista para usar. |
| hadoop-1.5 | Construida sobre la imagen base de Hadoop standalone. Incluye el framework Spark preinstalado y configurado, lista para usar. |
Conifguración para hadoop-1.3
Equipo Windows: Configuración necesaria
Editar el archivo hosts y actualizar la resolución DNS:
192.168.195.128（IP del-host-CentOS） hadoop
Ejecutar comando para limpiar caché DNS:
ipconfig /flushdns
Servidor CentOS: Pasos de configuración
-
Instalar Docker``` yum install -y docker docker --version vim /etc/docker/daemon.json {"registry-mirrors": ["https://d8b3zdiw.mirror.aliyuncs.com"]} systemctl restart docker docker pull 675361896/hadoop:etiqueta
-
Ejecutar el contenedor``` docker run -itd --privileged --hostname hadoop -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 --name hadoop --user root 921cad23e02d /usr/sbin/init
-
Operaciones dentro del contenedor``` source /etc/profile /usr/local/hadoop-3.2.4/sbin/start-all.sh
Acceso Web:
- NameNode HDFS:
http://[IP-Host-CentOS]:9870 - ResourceManager YARN:
http://[IP-Host-CentOS]:8088
Configuración para hadoop-1.4
-
Repetir los pasos de hadoop-1.3
-
Ejecutar el contenedor con puertos adicionales para Hive: ``` docker run -itd --privileged --hostname hadoop -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 -p9083:9083 -p10000:10000 -p10002:10002 --name iceberg --user root 921cad23e02d /usr/sbin/init
-
Iniciar servicios de Hive```
Iniciar servicio de metadatos
./hive --service metastore &
Iniciar servidor Thrift
./hive --service hiveserver2 -hiveconf hive.server2.thrift.port=10000 &
Inicializar esquema de metadatos
schematool --initSchema -dbType derby
Conectar al servicio Hive
./beeline -u jdbc:hive2://hadoop:10000 -n root
Acceso Web:
- Interfaz de Hive:
http://[IP-Host-CentOS]:10002
Configuración para hadoop-1.5
-
Repetir los pasos de hadoop-1.3
-
Ejecutar el contenedor con puertos adicionales para Spark: ``` docker run -itd --privileged --hostname hadoop -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 -p9083:9083 -p10000:10000 -p10002:10002 -p4040:4040 --name spark --user root 921cad23e02d /usr/sbin/init
-
Iniciar servicio PySpark``` /usr/local/spark/bin/pyspark
Acceso Web:
- Estado de Driver/Ejecutor Spark:
http://[IP-Host-CentOS]:4040