Odată cu adoptarea crescută a Hadoop în soluțiile IT tradiționale pentru întreprinderi și numărul crescut de implementări Hadoop în mediul de producție, necesitatea ca experții Hadoop în operațiuni și administrație să aibă grijă de marile clustere Hadoop devine vitală.
Responsabilitățile administratorului Hadoop:
- Responsabil pentru implementarea și administrarea continuă a infrastructurii Hadoop.
- Alinierea cu echipa de inginerie a sistemelor pentru a propune și implementa noi medii hardware și software necesare pentru Hadoop și pentru a extinde mediile existente.
- Colaborarea cu echipele de livrare a datelor pentru a configura noi utilizatori Hadoop. Această sarcină include configurarea utilizatorilor Linux, configurarea principalelor Kerberos și testarea accesului HDFS, Hive, Pig și MapReduce pentru noii utilizatori.
- Întreținerea clusterelor, precum și crearea și eliminarea nodurilor folosind instrumente precum Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage și alte instrumente.
- Reglarea performanței clusterelor Hadoop și rutinelor Hadoop MapReduce.
- Screen Hadoop cluster performanțe de lucru și planificare a capacității
- Monitorizați conectivitatea și securitatea clusterelor Hadoop
- Gestionați și examinați fișierele jurnal Hadoop.
- Gestionarea și monitorizarea sistemului de fișiere.
- Suport și întreținere HDFS.
- Colaborarea cu diligență cu echipele de infrastructură, rețea, bază de date, aplicații și business intelligence pentru a garanta o calitate și o disponibilitate ridicate a datelor.
- Colaborarea cu echipele de aplicații pentru instalarea sistemului de operare și actualizări Hadoop, patch-uri, actualizări de versiune atunci când este necesar.
- Punct de contact pentru escaladarea furnizorului
Administrația Hadoop este o carieră plină de satisfacții și profitabilă, cu numeroase oportunități de creștere. Dacă responsabilitățile de serviciu enumerate mai sus vă interesează, atunci este timpul să vă perfecționați cu Hadoop Administration și să intrați pe cariera de administrator Hadoop.
cum se afișează matricea în php
Responsabilitățile DBA îndeplinite de un administrator Hadoop:
- Modelarea, proiectarea și implementarea datelor pe baza unor standarde recunoscute.
- Instalare și configurare software.
- Copiere de rezervă și recuperare a bazei de date.
- Conectivitate și securitate la baze de date.
- Monitorizarea și reglarea performanței.
- Gestionarea spațiului pe disc.
- Patch-uri și upgrade-uri software.
- Automatizează sarcinile manuale.
Responsabilitățile de dezvoltare DWH îndeplinite de administratorul Hadoop:
DWH administrează responsabilitățile de locuri de muncă include dezvoltarea, testarea și monitorizarea lucrărilor în lot pentru următoarele sarcini:
- Asigurați integritatea referențială.
- Efectuați executarea cheii primare.
- Realizați retratări de date.
- Încărcați volume mari de date în timp util.
Acum, că știți despre responsabilitățile de serviciu ale unui administrator Hadoop, să aruncăm o privire asupra abilităților necesare pentru a fi una.
Abilități necesare pentru a deveni administrator Hadoop:
- Expertiză operațională generală, cum ar fi abilități bune de depanare, înțelegerea capacității sistemului, blocaje, elementele de bază ale memoriei, CPU, SO, stocare și rețele.
- Abilități Hadoop precum HBase, Hive, Pig, Mahout etc.
- Cele mai esențiale cerințe sunt: Acestea ar trebui să fie capabile să implementeze clusterul Hadoop, să adauge și să elimine noduri, să țină evidența lucrărilor, să monitorizeze părțile critice ale clusterului, să configureze disponibilitatea ridicată a nodului de nume, să îl programeze și să îl configureze și să efectueze copii de rezervă.
- Cunoștințe bune despre Linux, deoarece Hadoop rulează pe Linux.
- Familiarizarea cu instrumentele de gestionare și implementare a configurației open source, cum ar fi Puppet sau Chef și scripturi Linux.
- Cunoașterea problemelor de depanare a aplicațiilor Java de bază este un plus.
Edureka a organizat special un curs de administrare Hadoop. Faceți clic pe butonul de mai jos pentru a începe cu Hadoop Administration și aflați cum vă ajută cursul să deveniți Hadoop Administrator.
Postări asemănatoare:
Avantajele carierei prin certificarea Hadoop.
Cât de esențial este Hadoop Training?
logică fuzzy în inteligența artificială