În această postare, voi vorbi despre Instalarea Apache Pig pe Linux . Să începem cu definiția de bază a porcului Apache și a porcului latin.
Porc Apache este un instrument / platformă pentru crearea și executarea programului Map Reduce utilizat cu Hadoop. Este un instrument / platformă pentru analiza seturilor mari de date. Puteți spune că Apache Pig este o abstracție asupra MapReduce. Programatorii care nu sunt atât de pricepuți la Java obișnuiau să lucreze la Hadoop, în special în timp ce scriau joburi MapReduce.Deci, este un subiect important pentru care trebuie învățat și învățat .Apache Pig are propriul limbaj Pasareasca ceea ce este un avantaj pentru programatorii săraci.
O introducere de bază în Pig Latin vă va ajuta să înțelegeți mai bine:
Se numește limbajul procedural la nivel înalt utilizat în platforma Apache Pig Pasareasca . Apache Pig prezintă „Pig Latin”, care este un limbaj relativ mai simplu, care poate rula peste seturi de date distribuite pe sistemul de fișiere Hadoop (HDFS). În Apache Pig, trebuie să scrieți scripturi Pig folosind limbajul Pig Latin, care devine convertit în job MapReduce atunci când executați scriptul Pig. Apache Pig are diverși operatori care sunt folosiți pentru a efectua sarcini precum citirea, scrierea, prelucrarea datelor. Pentru a afla despre operatorii Apache Pig, accesați blogul nostru „ Operatori în Apache Pig: Partea 1 - Operatori relaționali ”.
Acum că aveți o înțelegere de bază despre Apache Pig, să începem cu Instalarea Apache Pig pe Linux.
Instalarea Apache Pig pe Linux:
Mai jos sunt pașii pentru instalarea Apache Pig pe Linux (ubuntu / centos / windows folosind Linux VM). Folosesc Ubuntu 16.04 în configurarea de mai jos.
Pasul 1: Descarca Porc gudron fişier.
Comanda: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
ce este rmi în java
Pasul 2: Extrageți gudron fișier folosind comanda tar. În comanda de mai jos, X înseamnă a extrage un fișier de arhivă, cu înseamnă filtrarea unei arhive prin gzip, f înseamnă numele fișierului unui fișier de arhivă.
Comanda: tar -xzf pig-0.16.0.tar.gz
Comanda: eu sunt
Pasul 3: Editați „ .bashrc ”Fișier pentru actualizarea variabilelor de mediu ale Apache Pig. Îl setăm astfel încât să putem accesa porcul din orice director, nu trebuie să mergem în directorul porc pentru a executa comenzi porc. De asemenea, dacă orice altă aplicație caută Pig, va cunoaște calea lui Apache Pig din acest fișier.
Comanda: sudo gedit .bashrc
Adăugați următoarele la sfârșitul fișierului:
# Setați PIG_HOME
export PIG_HOME = / home / edureka / pig-0.16.0
export PATH = $ PATH: /home/edureka/pig-0.16.0/bin
export PIG_CLASSPATH = $ HADOOP_CONF_DIR
De asemenea, asigurați-vă că și calea hadoop este setată.
Rulați comanda de mai jos pentru ca modificările să fie actualizate în același terminal.
Comanda: sursa .bashrc
Pasul 4: Verificați versiunea porcului. Aceasta este pentru a testa dacă Apache Pig a fost instalat corect. În cazul în care nu primiți versiunea Apache Pig, trebuie să verificați dacă ați urmat corect pașii de mai sus.
Comanda: porc -versiune
Pasul 5 :Verificați ajutorul porcului pentru a vedea toate opțiunile de comandă porc.
Comanda: porc -ajutor
Pasul 6 :Rulați Porcul pentru a porni coaja. Grunt shell este folosit pentru a rula scripturile Pig Latin.
Comanda: porc
Dacă priviți corect imaginea de mai sus, Apache Pig are două moduri în care poate rula, în mod implicit alege modul MapReduce. Celălalt mod în care puteți rula Pig este modul Local. Permiteți-mi să vă spun mai multe despre acest lucru.
Moduri de execuție în Apache Pig:
- Mod MapReduce - Acesta este modul implicit, care necesită acces la un cluster Hadoop și la instalarea HDFS. Deoarece acesta este un mod implicit, nu este necesar să specificați steagul -x (puteți executa porc SAU porc -x mapreduce ). Intrarea și ieșirea în acest mod sunt prezente pe HDFS.
- Mod local - Cu acces la o singură mașină, toate fișierele sunt instalate și rulate folosind o gazdă locală și un sistem de fișiere. Aici modul local este specificat folosind „-x flag” ( porc -x local ). Intrarea și ieșirea în acest mod sunt prezente pe sistemul de fișiere local.
Comanda: porc -x local
Puteți parcurge videoclipul de mai jos pentru a viziona instalarea Apache Pig pe Linux:
Instalare Apache Pig | Instalarea Pig pe Linux | Edureka
Acum că ați terminat instalarea Apache Pig pe Linux, următorul pas înainte este să încercați câțiva operatori relaționali Pig pe shell-ul Pig Grunt. Prin urmare, următorul blog „ Operatori în Apache Pig: Partea 1 - Operatori relaționali ”Vă va ajuta să stăpâniți operatorii de porci.
Acum că ați instalat Apache Pig pe Linux, verificați de Edureka, o companie de învățare online de încredere, cu o rețea de peste 250.000 de elevi mulțumiți răspândiți pe tot globul. Cursul Edureka Big Data Hadoop Certification Training îi ajută pe cursanți să devină experți în HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume și Sqoop folosind cazuri de utilizare în timp real în domeniul Retail, Social Media, Aviație, Turism, Finanțe.
Ai o întrebare pentru noi? Vă rugăm să o menționați în secțiunea de comentarii și vă vom răspunde.