În acest blog, să vedem cum să construim Spark pentru o anumită versiune Hadoop.
De asemenea, vom învăța cum să construim Spark cu HIVE și YARN.
configurarea hadoop pe Ubuntu
Având în vedere că ai Hadoop, jdk, mvn și merge preinstalat și preconfigurat pe sistemul dvs.
Deschis Browser Mozilla și Descărcați Scânteie folosind linkul de mai jos.
https://edureka.wistia.com/medias/k14eamzaza/
Deschideți terminalul.
Comandă: descărcări tar -xvf / spark-1.1.1.tgz
Comandă: ls
Deschideți directorul spark-1.1.1.
Puteți deschide pom.xml fişier. Acest fișier vă oferă informații despre toate fișierele dependențe ai nevoie.
Nu-l editați pentru a nu fi supus problemelor.
Comandă: cd spark-1.1.1 /
Comandă: sudo gedit sbt / sbt-launch-lib.bash
Editați fișierul ca instantaneu de mai jos, salvați-l și închideți-l.
Reducem memoria pentru a evita o problemă de spațiu de heap de obiecte, așa cum se menționează în instantaneul de mai jos.
Acum, executați comanda de mai jos în terminal pentru a crea scânteie pentru Hadoop 2.2.0 cu HIVE și YARN.
Comandă: ./sbt/sbt -P fire -P stup -Phadoop-2.2 -D hadoop.versiune = 2.2.0 -D skipTests asamblare
Notă: Versiunea mea Hadoop este 2.2.0, o puteți modifica în funcție de versiunea dvs. Hadoop.
Pentru alte versiuni Hadoop
# Apache Hadoop 2.0.5-alfa
-Dhadoop.version = 2.0.5-alfa
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.versiune = 0.23.7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Va dura ceva timp pentru compilare și ambalare, vă rugăm să așteptați până se finalizează.
Două borcane spark-assembly-1.1.1-hadoop2.2.0.jar și spark-examples-1.1.1-hadoop2.2.0.jar se creează.
Calea spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Calea spark-examples-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Felicitări, ați construit cu succes Spark for Hive & Yarn.
Ai o întrebare pentru noi? Vă rugăm să le menționați în secțiunea de comentarii și vă vom răspunde.
Postări asemănatoare:
Apache Spark cu Hadoop-De ce contează?