Instala Hadoop Bd4s v5

INSTALANDO HADOOP EN TU MQUINA DE MANERA

SENCILLA TODOS LOS PASOS EXPLICADOS, DOCUMENTACIN Y ENLACES NECESARIOS

Noviembre 2014

INSTALANDO HADOOP EN TU MQUINA DE MANERA SENCILLA TODOS LOS PASOS EXPLICADOS, DOCUMENTACIN Y ENLACES NECESARIOS

1

INTRO Todos los que lo hemos hecho sabemos que instalar Hadoop puede resultar una pesadilla. Es

de estos programas que parece que estn hechos para que tengas que hacer un master slo

para instalarlos!

Durante un tiempo vagu por varios videocursos online y tutoriales, en los que a menudo te

quedas estancado en un paso y nadie te ayuda. Me he decidido a elaborar este mini curso que

tendr como objetivo que nadie, repito, NADIE se quede fuera sin instalar Hadoop porque

algn error o desconfiguracin no le permite avanzar. Ya no tienes excusa.

Resumen de procesos

-Vamos a instalar Hadoop 1.2.1, primero en modo Single Node y despus en Pseudo

Distributed.

-Para ello utilizaremos una mquina virtual gratuita (Oracle VirtualBox) sobre el SO Windows

8.1.

-En esta mquina vamos a instalar el SO Ubuntu 12.04 LTS, sobre el que realizaremos la

instalacin de Hadoop.

-En el sistema Ubuntu se precisa realizar una actualizacin de Java, tanto el JDK como JRE.

-Asimismo ser necesario cambiar la ruta de acceso a Java (o PATH) que viene por defecto en

Hadoop y otras configuraciones.

-Huelga decir que si manejas Ubuntu en tu mquina no ser necesario que hagas una mquina

virtual, si bien esta tiene ventajas en el ensayo y error para realizar estas pruebas.

-Las versiones exactas que vamos a utilizar os las pongo a continuacin. En muchas ocasiones

se producen errores por emplear diferentes versiones, sobre todo cuando este detalle no se

actualiza en los ficheros de configuracin correspondientes (si, esto es un rollazo, as de simple

y claro)

Oracle VirtualBox 4.3.20 (Win 64bits)

Windows 8.1 (64bits)

Hadoop 1.2.1 (64bits)

Ubuntu 12.04.5 (64bits)

Java: JDK y JRE 1.7.0.72 (Linux 64bits)

Mensaje de nimo

No nos pongamos negativos! Al terminar este mini-curso, tendrs instalada en tu mquina la

herramienta que est revolucionando el mundo de la analtica y con la que muchos consiguen

trabajos envidiables. nimo y ten paciencia!


2

I INSTALANDO LA MQUINA VIRTUAL Nota: si tienes Ubuntu funcionando en una mquina, puedes aprovecharla para hacer este

tutorial saltndote este paso. La versin que vamos a manejar es Precise Pangolin (12.04)

Empezamos con las descargas necesarias:

Podrs hacer la descarga de la versin gratuita de Oracle VirtualBox en este enlace:

https://www.virtualbox.org/wiki/Downloads

Descargaremos tambin en este paso la imagen ISO de Ubuntu LTS para 64 bits:

http://releases.ubuntu.com/precise/

Instalamos la mquina virtual:

Next

Next


3

Seleccionamos nuestras preferencias y Next (esta es la parte ms fcil ;)

Yes (La conexin a internet se puede

interrumpir, guardamos todo lo que podamos perder y cerramos el navegador, si procede)

Install


4

Ahora toca esperar unos segundos mientras se instala.

Finish y se lanzar la mquina virtual. Vamos all!

Creando la mquina virtual con Ubuntu

Clicamos en Nueva


5

La voy a llamar Ubuntu seleccionamos que el tipo sea Linux y la Versin Ubuntu (64bit), ojo

no seleccionar la opcin de 32!!

-Next

Ampliamos la memoria RAM de nuestra nueva mquina virtual a unos 2 GB con la flechita

(Para estos programas se necesitan mquinas potentes, con al menos 4 GB de RAM. De no ser

as lo podis intentar con menos memoria, pero puede quedarse atascado el ordenador)


6

Creamos un disco duro virtual

Next (VDI por defecto, OK)


7

Next

Asignamos alrededor de 20 Gigabytes al disco duro virtual que creamos.

Ya hemos creado el disco duro, ahora vamos a asignarle la imagen ISO de Ubuntu que hemos

descargado. Tenemos que ir a Configuracin:


8

Presionar el botn Configuracin,

Vamos a almacenamiento en el men de la izquierda. En el rbol de almacenamiento (centro)

ponemos el cursor sobre el disco con un + en la derecha superior para asignar una imagen del

SO


9

Agregar dispositivo CD/DVD,

Seleccionar disco,

Ahora navegaremos con el browser hasta donde hemos guardado la imagen que antes

descargamos. La seleccionamos y damos Abrir

Abrir


10

Aceptar

Vamos a arrancar la mquina virtual que hemos creado e instalaremos Ubuntu en ella ahora

que hemos seleccionado la imagen ISO:

Iniciar

Nota: si nos aparece un error al iniciar la VM diciendo algo sobre VT-x/AMD-V y el soporte de

64bits, necesitaremos actualizar la BIOS del ordenador ya que esta no soporta la virtualizacin.

No te desesperes! Lo que debemos hacer en este caso es reiniciar el ordenador e ir a la

configuracin de la BIOS (presionando F2, F9 o Supr, etc. dependiendo del modelo que tengas).

Hay que ir a UEFI Firmware, y all en Avanzado elegir en la configuracin de CPU que se habilite

la Virtualization Technology (En cada equipo puede aparecer ligeramente distinto).

Guardamos la configuracin y salimos. Una vez hecho este ajuste al volver a iniciar la mquina

virtual con la ISO de Ubuntu debera ir todo bien (suerte!)


11

Seleccionamos Install Ubuntu

Nota: el idioma lo dejo en ingls por preferencia propia. Puedes elegir espaol si lo deseas

pero en general te aconsejo mantener el ingls en Ubuntu para profundizar ms ya que casi

todos lo tutoriales estn en este idioma y puede ser una fuente de divergencias en

cdigo/rutas/confusiones etc.

Le damos a Continue


12

Erase Disc and install Ubuntu

(tranquilo que no te borrar nada a tu PC, slo es el disco virtual lo que borra). Damos

Continue y,

Install Now


13

Mientras se instala Ubuntu, iremos haciendo los settings habituales: zona horaria,

teclado (este s que tiene que coincidir con tu teclado, normalmente lo autodetecta bastante

bien)

datos de la cuenta de usuario: nombre, contrasea, etc. (por comodidad, vamos a seleccionar

que se loggee automticamente)


14

Esperamos mientras termina la instalacin. Podemos mientras echar un vistazo a la web

bigdata4success.com y registrarnos para estar al da con lo ltimo en BDyA


15

Una vez terminada la instalacin nos pedir reiniciar la mquina (slo la mquina virtual se

reiniciar). Le damos a Restart Now

La pantalla se os mostrar muy pequea, para ajuntar las dimensiones de la pantalla en la

mquina virtual, vamos a hacer una actualizacin.

En el men Dispositivos, vamos a

clickar en Inserta la Imagen CD de las Guest Additions

Run, y nos pedir nuestra contrasea para continuar


16

Presionamos Intro cuando nos aparezca el mensaje

para cerrar esta ventana

Ahora para poder activar el ajuste de la ventana automtico, es mejor que reiniciemos de

nuevo la mquina virtual.

Men Ver y seleccionamos la opcin

Autoredimensionar la pantalla del invitado.

Ahora tenemos todo listo en nuestra VM para pasar a instalar Java con las modificaciones

necesarias y Hadoop. Vamos all!


17

II Descargando Hadoop y Java desde la mquina virtual

A partir de aqu es ms cmodo que abras este doc desde dentro de la VM para copiar y pegar

direcciones y lneas de comandos. Vamos a descargar desde Ubuntu la versin de Hadoop

1.2.1 (stable) por medio del mirror que aparece en este link (cada pas puede tener uno

diferente):

http://apache.org/dyn/closer.cgi/hadoop/common/

Hay que asegurarse de que

descargamos el fichero que se llama hadoop-1.2.1.tar.gz de entre las diferentes opciones de la

lista.

Le damos a guardar y pasamos a descargar los ficheros Java que necesitaremos. El link es el

siguiente:

www.oracle.com/technetwork/java/javase/downloads/index.html

Tenemos que bajar y descargar en la seccin de la release Java SE 7u72. Vamos a descargar

tanto el JDK (Java Developer Kit) como el JRE (Java Runtime Environment)


18

Debemos aceptar un acuerdo de licencia y descargar el fichero jdk-7u72-linux-x64.tar.gz y jre-

7u72-linux-x64.tar.gz

Mientras se descargan los archivos comprimidos:

Creamos en el directorio home una nueva carpeta con el nombre hadoop (Abrimos

una terminal y escribimos: mkdir hadoop)

Movemos ah el tar.gz de Hadoop 1.2.1 (Terminal: mv Downloads/hadoop-*.tar.gz

hadoop)

Descomprimimos el fichero ah dentro de la misma carpeta hadoop

Terminal: cd hadoop

Terminal: tar xzf hadoop-*.tar.gz


19

Java

Vamos a hacer un borrado con el comando purge de la versin Java instalada,

Terminal: sudo apt-get purge openjdk-\*

Ahora creamos el directorio donde se ha de instalar java,

Terminal: sudo mkdir -p /usr/local/java

Copiamos los ficheros comprimidos de java que estn en la carpeta descargas a la

carpeta que acabamos de crear.

Terminal: cd ~

Terminal: sudo cp -r Downloads/jdk-*.tar.gz /usr/local/java

Terminal: sudo cp -r Downloads/jre-*.tar.gz /usr/local/java

Extraemos el contenido de los ficheros comprimidos

Terminal: cd /usr/local/java

Terminal: sudo tar xvzf jdk-*.tar.gz

Terminal: sudo tar xvzf jre-*.tar.gz

Ahora vamos a modificar las variables en el perfil. Para ello primero veamos cul es la

ruta exacta en nuestro equipo a la carpeta hadoop-1.2.1:

Terminal: cd ~

Terminal: cd hadoop/hadoop-1.2.1

Terminal: pwd (aqu podemos visualizar la ruta en la consola de comandos, en mi caso:

/home/jorge/hadoop/hadoop-1.2.1)

Para editar el perfil de java que estamos estableciendo escribimos en la terminal lo

siguiente para que se abra el editor (gedit)

Terminal: cd ~

Terminal: sudo gedit /etc/profile


20

Aqu al final del cdigo que aparece copiamos y pegamos a partir de una nueva lnea lo

siguiente:

JAVA_HOME=/usr/local/java/jdk1.7.0_72 PATH=$PATH:$JAVA_HOME/bin JRE_HOME=/usr/local/java/jre1.7.0_72 PATH=$PATH:$JRE_HOME/bin HADOOP_INSTALL=/home/{user_name}/hadoop/hadoop-1.2.1 PATH=$PATH:$HADOOP_INSTALL/bin export JAVA_HOME export JRE_HOME export PATH

Es muy importante que actualices los campos que aparecen marcados en amarillo con

la versin que tienes de java y la ruta exacta a la carpeta hadoop-1.2.1, con tu nombre

de usuario.

Guardamos y cerramos

Para indicar a Ubuntu dnde est java instalado escribiremos lo siguiente en la

terminal (Lo mejor es que escribamos en un txt desde Ubuntu cada lnea para

modificar la versin que tenemos) sudo update-alternatives --install "/usr/bin/java" "java" "/usr/local/java/jre1.7.0_72/bin/java" 1

sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/local/java/jdk1.7.0_72/bin/javac" 1

sudo update-alternatives --install "/usr/bin/javaws" "javaws" "/usr/local/java/jre1.7.0_72/bin/javaws" 1

sudo update-alternatives --set java /usr/local/java/jre1.7.0_72/bin/java

sudo update-alternatives --set javac /usr/local/java/jdk1.7.0_72/bin/javac

sudo update-alternatives --set javaws /usr/local/java/jre1.7.0_72/bin/javaws

Refrescamos el perfil con

Terminal: . /etc/profile

Por ltimo, comprobamos la versin

Terminal: java -version


21

III Instalado el modo Single Node Parece que todo est saliendo bien si todava no te ha aparecido ningn error! Ahora mismo

estaramos ya en condiciones de ejecutar Hadoop en nuestro sistema en el modo Stand Alone

o Single Node (tenemos Hadoop funcionando en un nico nodo: nuestra mquina). Este modo

sirve para testar y para aprender a manejar el programa.

Vamos a probar a ver si est todo correcto:

Vamos hasta el directorio donde est Hadoop


Creamos el subdirectorio input dentro de hadoop

Terminal: mkdir input

Vamos a correr MapReduce con un fichero .jar de ejemplo que viene en la instalacin

Terminal: bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'

Comprobamos con el comando ls en la carpeta output

Terminal: ls output/*

Si te aparece SUCCESSenhorabuena!!! Ya lo tienes instalado en tu mquina, lo has

conseguido

Ahora damos un paso ms y configuramos Hadoop en modo pseudo distribuido (Pseudo Node)


22

IV Instalando en modo Pseudo Distribuido Con este modo estamos simulando que tenemos un clster de nodos en nuestra mquina. De

hecho, podramos asignarle al sistema nodos separados asignado como tales varios discos

duros virtuales. De esta manera reproducimos lo que ocurrira en una arquitectura distribuida

real dentro de nuestro ordenador.

Para poder manejar Hadoop en pseudo node va a ser necesario instalar y configurar SSH, un

software muy verstil que es utilizado para encriptar conexiones entre equipos.

Instalamos ssh

Terminal: sudo apt-get install ssh

Terminal: sudo apt-get install rsync

Modificamos la configuracin en conf/core-site.xml pegando lo siguiente:

fs.default.name

hdfs://localhost:9000

Cambiamos el contenido de hadoop-1.2.1/conf/hdfs-site.xml por lo siguiente:

dfs.replication

1

Editamos hadoop-1.2.1conf/mapred-site.xml a:

mapred.job.tracker localhost:9001

6. En hadoop-1.2.1conf/hadoop-env.sh modificamos en JAVA_HOME lo siguiente:

export JAVA_HOME=/usr/local/java/jdk1.7.0_72

Ojo con poner correctamente la versin que ests utilizando de java, y asegrate de

que esa lnea queda sin la almohadilla (#)!!


23

Vamos a configurar ssh sin password con las siguientes sentencias:

Terminal: ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa Terminal: cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

Comprobamos que la configuracin es correcta

Terminal: ssh localhost (no nos debe pedir ninguna clave al dar enter)

Aplicamos -format al NameNode (es el nodo de la arquitectura distribuida en el que se

encuentran los metadatos)


Terminal: bin/hadoop namenode -format

Iniciamos todos los daemons (o demonios, lo que ms os guste ;)

Terminal: bin/start-all.sh

Una vez que han terminado de iniciarse los cinco daemons (Namenode, Datanode,

SecondaryNamenode, JobTracker y TaskTracker), vamos a abrir un navegador web en

Ubuntu e iremos a http://localhost:50070/ y a http://localhost:50030/

Desde estas URLs se monitoriza la actividad del NameNode y su estado as como los

procesos (mediante el jobtracker) que van ocurriendo.


24

Si te han aparecido estas pginas correctamente, es que todo ha ido bien (por fn!)

Puedes probar a correr otra vez el .jar que habamos ejecutado para el Single Node:

Terminal: bin/hadoop fs -put conf input (copiamos los ficheros entrantes en el sistema

distribuido) si no hacemos esto, nos aparecer un error del tipo Input path does not

existscalendario

Terminal: bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'


25

Una vez comprobado que todo funciona correctamente, paramos todo con

Terminal: stop-all.sh

Puede suceder algn error por lo siguiente. El Namenode o el Datanode tienen fijado

una ruta de acceso por defecto mediante la propiedad dfs.name.dir o dfs.data.dir

que apuntan al directorio temporal /tmp. Este directorio va modificndose con el

tiempo y puede ocurrir que en una primera comprobacin todo funcione bien, pero

despus aparezcan los problemas y el Namenode no arranque.

Si lo quieres comprobar, con los daemons iniciados mediante bin/start-all.sh metemos:

Teminal: jps Nos va a mostrar los procesos activos en java.

La consola de comandos debera mostrar algo como lo siguiente:

4351 SecondaryNameNode

4865 NameNode

4949 DataNode

5189 JobTracker

5189 TaskTracker

5339 Jps

Si el Namenode o el Datanode no figuran en la lista o aparecen con algn error, vamos

a hacer lo siguiente para arreglarlo:

Paramos todo con

Terminal: bin/stop-all.sh

Vamos a la carpeta hadoop/ y creamos un nuevo directorio llamado (podemos

llamarlo como queramos) dfs

Dentro de este directorio crearemos las carpetas data y name

Cambiamos el fichero de configuracin hdfs-site.xml (en el directorio hadoop-

1.2.1/conf) para establecer las propiedades dfs.name.dir y dfs.data.dir

Vamos a sobre escribir lo siguiente, adecundolo a la ruta de tu equipo (puedes volver

a usar pwd para extraer la ruta exacta y evitar errores)

dfs.data.dir /home/{usuario}/hadoop/dfs/data/


26

dfs.name.dir /home/{usuario}/hadoop/dfs/name/

dfs.replication 1

Asegrate de que se mantiene la sangra de cada lnea tal y como aparece aqu.

Guardamos la configuracin y volvemos a dar formato a namenode Terminal: hadoop namenode -format Esto es lo que os tiene que aparecer:

En las ltimas versiones de Ubuntu 12.04 LTS hay una asignacin de permisos1 por defecto que nos puede causar un problema. La carpeta dfs/data requiere permisos 755 (rwxr-xr-x), y Ubuntu le asigna por defecto la combinacin 775 (rwxrwxr-x). Lo comprobamos y en caso de ser as, cambiamos los permisos con chmod Terminal: (desde la carpeta hadoop/dfs) ls -l (ojo que son eles, no barras ) En caso de que data tenga permisos 775 Terminal: chmod 755 data

Iniciamos los daemons Terminal: start-all.sh (o bien: bin/start-all.sh indistintamente)

Comprobamos otra vez los procesos activos en java Terminal: jps

1 Los permisos en Linux son lectura r, escritura w y ejecucin x, y se asignan a: el propietario, el grupo y al resto. En la clasificacin octal se usa 7 para todos los permisos (rwx) y 5 para lectura y ejecucin (r-x)


27

Ahora estn funcionando todos! (te tienen que aparecer como en el listado de arriba) Al parar nos deben figurar de nuevo todos los daemons (stop-all.sh)

Si no aparece nada del tipo no datanode to stop es que todo ha ido bien y ya tienes lista tu

instalacin de Hadoop. Enhorabuena!!

Y eso es todo! Espero que te haya servido. Si has experimentado fallos o te has quedado

bloqueado en algn paso, no desesperes. En Internet hay muchas personas que te pueden

ayudar y a travs del foro de discusin tambin otras personas pueden hacer algo.

Sintete libre de enviarme los comentarios o sugerencias que quieras.


28

Tachaaaan

LISTO! Muchas gracias por tu atencin, espero que te resulte til. Ahora lo siguiente es lo ms

importante, SEGUIR ADELANTE. nimo!

No te olvides de dejar algn comentario/valoracin as como compartirlo con tus contactos en

redes sociales si piensas que les puede interesar.

Echa un vistazo a nuestra web y sguenos: Big Data 4Success

Un saludo,

Jorge

Instala Hadoop Bd4s v5

Documents

Transcript of Instala Hadoop Bd4s v5