Una dintre cele mai atractive caracteristici ale cadrului Hadoop este utilizarea hardware-ului de marfă . Cu toate acestea, acest lucru duce la blocări frecvente ale DataNode într-un cluster Hadoop. O altă caracteristică izbitoare a Hadoop Framework este ușurința scalării în conformitate cu creșterea rapidă a volumului de date . Din aceste două motive, una dintre cele mai comune sarcini ale unui administrator Hadoop este să comision (Adăugați) și dezafectare (Eliminați) nodurile de date dintr-un cluster Hadoop.
tipuri de date în MySQL cu exemple
Punerea în funcțiune și dezafectarea nodurilor într-un cluster Hadoop:
Diagrama de mai sus arată un proces pas cu pas pentru dezafectarea unui DataNode în cluster.
Prima sarcină este de a actualiza exclude ‘Fișiere pentru ambele HDFS (hdfs-site.xml) și MapReduce (mapred-site.xml).
Fișierul „exclude”:
- pentru jobtracker conține lista gazdelor care ar trebui excluse de jobtracker. Dacă valoarea este goală, nu sunt excluse gazde.
- pentru Namenode conține o listă de gazde care nu au voie să se conecteze la Namenode.
Iată exemplul de configurație pentru fișierul de excludere din hdfs-site.xml și mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / exclude
Adevărat
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / exclude
Adevărat
Notă: Trebuie specificat calea completă a fișierelor.
În mod similar, avem fișierele „include”:
- pentru jobtracker care conține lista de noduri care se pot conecta la JobTracker. Dacă valoarea este goală, toate gazdele sunt permise.
- pentru Namenode care conține o listă de gazde cărora li se permite conectarea la Namenode. Dacă valoarea este goală, toate gazdele sunt permise.
„ dfsadmin ' și ' mradmin 'Comenzile reîmprospătează configurația cu modificările pentru a le face conștiente de noul nod.
„ sclavi 'Fișierul de pe serverul principal conține lista tuturor nodurilor de date. Acest lucru trebuie, de asemenea, actualizat pentru a asigura orice problemă în viitorul start / stop al demonului hadoop.
Pasul important în procesul de comisie a nodului de date este rularea Cluster Balancer.
> echilibru hadoop -prag 40
Echilibrist încearcă să ofere un echilibru la un anumit prag între nodurile de date prin copierea datelor bloc din noduri mai vechi în noduri nou puse în funcțiune.
Deci, așa puteți face - Punere in functiune și Dezafectare Noduri într-un cluster Hadoop.
Ai o întrebare pentru noi? Vă rugăm să o menționați în secțiunea de comentarii și vă vom răspunde.
Link-uri conexe: