Programare porc: Creați primul dvs. script Apache Pig
În a noastră , vom învăța acum cum să creăm un script Apache Pig. Scripturile Apache Pig sunt utilizate pentru a executa un set de comenzi Apache Pig în mod colectiv. Acest lucru ajută la reducerea timpului și a efortului investit în scrierea și executarea manuală a fiecărei comenzi în timp ce faceți acest lucru în programarea Pig.Este, de asemenea, o parte integrantă a .Acest blog este un ghid pas cu pas pentru a vă ajuta să creați primul dvs. script Apache Pig.
Moduri de executare a scriptului Apache Pig
Mod local : În „modul local”, puteți executa scriptul porc în sistemul de fișiere local. În acest caz, nu este nevoie să stocați datele în sistemul de fișiere Hadoop HDFS, în schimb puteți lucra cu datele stocate în sistemul de fișiere local.
Mod MapReduce : În „modul MapReduce”, datele trebuie stocate în sistemul de fișiere HDFS și puteți prelucra datele cu ajutorul scriptului porc.
Script Apache Pig în modul MapReduce
Să spunem că sarcina noastră este să citim date dintr-un fișier de date și să afișăm conținutul necesar pe terminal ca ieșire.
Fișierul de date eșantion conține următoarele date:
Salvați fișierul text cu numele „information.txt”
Fișierul de date eșantion conține cinci coloane Nume , Numele de familie , Numar de telefon mobil , Oraș , și Profesie separat de tasta tab . Sarcina noastră este să citim conținutul acestui fișier din HDFS și să afișăm toate coloanele acestor înregistrări.
tipecast dublu la int java
Pentru a procesa aceste date folosind Pig, acest fișier ar trebui să fie prezent în Apache Hadoop HDFS.
Comanda : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka
Pasul 1: Scrierea unui scenariu Porc
Creați și deschideți un fișier script Apache Pig într-un editor (de exemplu, gedit).
Comanda : sudo gedit /home/edureka/output.pig
cum se scrie o metodă de încercare în java
Această comandă va crea un fișier „output.pig” în directorul principal al utilizatorului edureka.
Să scriem câteva comenzi PIG în fișierul output.pig.
A = LOAD '/edureka/information.txt' folosind PigStorage ('') ca (FName: chararray, LName: chararray, MobileNo: chararray, Oraș: chararray, Profesie: chararray) B = FOREACH A genera FName, MobileNo, Profession DUMP BSalvați și închideți fișierul.
- Prima comandă încarcă fișierul „information.txt” în variabila A cu schemă indirectă (FName, LName, MobileNo, City, Profession).
- A doua comandă încarcă datele necesare din variabila A în variabila B.
- A treia linie afișează conținutul variabilei B pe terminal / consolă.
Pasul 2: Executați scriptul Apache Pig
Pentru a executa scriptul porc în modul HDFS, rulați următoarea comandă:
Comanda : porc /home/edureka/output.pig
După terminarea execuției, revizuiți rezultatul. Aceste imagini de mai jos prezintă rezultatele și harta lor intermediară și reduc funcțiile.
Imaginea de mai jos arată că Scriptul a fost executat cu succes.
Imaginea de mai jos prezintă rezultatul scenariului nostru.
serviciul acum de formare a sistemului de ticketing
Felicitări pentru executarea cu succes a primului dvs. script Apache Pig!
Acum știți, cum să creați și să executați scriptul Apache Pig. Prin urmare, următorul nostru blog în va acoperi cum să creați UDF (Funcții definite de utilizator) în Apache Pig și executați-l în modul MapReduce / HDFS.
Acum că ați creat și executat Apache Pig Script, verificați de Edureka, o companie de învățare online de încredere, cu o rețea de peste 250.000 de elevi mulțumiți răspândiți pe tot globul. Cursul Edureka Big Data Hadoop Certification Training îi ajută pe cursanți să devină experți în HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume și Sqoop folosind cazuri de utilizare în timp real în domeniul Retail, Social Media, Aviație, Turism, Finanțe.
Ai o întrebare pentru noi? Vă rugăm să o menționați în secțiunea de comentarii și vă vom răspunde.