Când eram mai tânăr, obișnuiam să iubesc seria de filme Star Wars. Mi-a plăcut atât de mult încât am avut aceste casete video din fiecare dintre ele. Obișnuiam să-i urmăresc iar și iar. Apoi a venit vremea playerelor DVD și a trebuit să reiau aceste filme din nou pe DVD. Nu am avut nicio îndoială în a cumpăra din nou întregul set pe DVD, deoarece am vrut să experimentez noua tehnologie și să mă bucur în continuare și de filmele mele preferate. Lucrurile au fost grozave până când a apărut o altă tehnologie nouă, Blu-ray. După ce am cumpărat deja filmele de două ori, nu așteptam cu nerăbdare să le cumpăr din nou. De ceva timp nu am făcut niciun efort să mă „actualizez”, gândindu-mă că aș merge bine fără această tehnologie. Și am făcut bine. Oricum nu mi-a afectat viața. Dar am putut vedea o schimbare de tendință și nu mi-am putut împărtăși filmele cu prietenii mei, așa cum făceau între ei. Chiar m-am simțit lăsat deoparte.
În cele din urmă am ieșit și am luat filmul în Blu-ray. Îmi amintesc nu pentru că îmi place filmul, ci din cauza faptului că calitatea videoclipului a fost minunată. Și pentru a încheia totul, am primit întregul set de filme într-un singur disc Blu-ray.
Nevoia sau dorința de a rămâne la curent este cea mai puternică atunci când vine vorba de profesia noastră, deoarece riscurile sunt mai mari. A devenit esențial să rămâi la înălțimea jocului tău.
4 motive practice pentru învățarea Hadoop 2.0:
Oricât de inevitabil ar fi, a rămâne la zi în profesia noastră a devenit o parte importantă a vieții noastre. Oricât de descurajant ar părea, nu este nevoie să vă alarmați, deoarece tehnologiile nu se schimbă atât de repede sau de drastic. Dar discuțiile și informațiile despre aceste tehnologii și lucrurile pe care le putem face cu ele câștigă vizibilitate. Iată câteva motive pentru care ar trebui să fiți la curent:
# 1: Nu te lăsa prins
Dacă nu acordați atenție celor mai recente actualizări ale unei tehnologii, puteți face să arătați ca un cerb prins într-un far. Nu chiar o imagine strălucitoare a capacităților dvs. profesionale. A fi la curent vă va face respectat de colegii dvs. pentru abilitățile dvs. profesionale. S-ar putea să nu fie nevoie să implementați fiecare lucru nou pe care îl învățați, dar să fiți conștienți de actualizări este imperativ.
De exemplu, când se vorbește despre Hadoop, puteți informa colegii dvs. că Hadoop 2.5.0 are îmbunătățiri de autentificare atunci când utilizați un server proxy HTTP. Și, de asemenea, în aceeași versiune a Hadoop, există o prevedere pentru a scrie direct pe Graphite.
Devine esențial să fii în topul celor mai recente actualizări atunci când organizațiile se gândesc să migreze la Hadoop. Și „cunoașterea” poate face o mare diferență în cariera ta.
# 2: Având un avantaj competitiv
Profesioniștii calificați în domeniile lor sunt respectați. Și să rămâi la curent este cel mai bun mod de a fi în top. Nevoia ta de a fi la curent reflectă pasiunea ta față de slujba ta. Dezvoltând expertiză în slujba și industria dvs., veți câștiga încrederea și respectul oamenilor din jur. Din perspectiva conducerii, acest lucru este de neprețuit!
Chiar dacă organizația dvs. încă lucrează cu Hadoop 1.0, cunoașterea tuturor celor mai recente caracteristici ale Hadoop 2 vă va ține pe drumul cel bun, deoarece este relativ nou și cu siguranță mai bun. A fi primul care a învățat acest lucru ți-ar oferi un avantaj față de colegii tăi.
# 3: Oportunități noi
Este o realitate tristă faptul că rolul nostru actual se schimbă continuu. Cu timpul vin responsabilități suplimentare și oportunități de a face noi sarcini. Dacă rămâi la curent cu tendințele industriei, ești în cea mai bună poziție pentru a profita de aceste oportunități.
Companii precum Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory și multe altele caută oameni calificați în cele mai recente caracteristici ale Hadoop 2, ca YARN.
# 4: Luați decizii mai bune
Informațiile suplimentare vă vor permite să faceți alegeri în cunoștință de cauză și decizii mai bune. Vă va ajuta să recunoașteți oportunitățile și să adăugați valoare strategiei organizației dvs.
Hadoop 2 are caracteristici care sporesc viteza, precum și reducerea costurilor. Sugerarea de opțiuni pentru îmbunătățirea performanței și creșterea vitezei poate crește cu siguranță productivitatea organizației. Iată câteva caracteristici ale Hadoop 2 care vor aduce beneficii organizației și sugerarea acestora va stimula și cariera ta.
Suport pentru rularea Hadoop pe Microsoft Windows
Distribuirea simplificată a binelor MapReduce prin HDFS în memoria YARN Distributed Cache.
Suport îmbunătățit pentru aplicații noi pe YARN cu Application History Server și Application Timeline Server
Suport complet HTTPS în HDFS
Integrare Kerberos pentru magazinul de cronologie YARN.
Suport pentru ierarhia de stocare eterogenă în HDFS.
Memorie cache în memorie pentru date HDFS cu administrare și gestionare centralizată.
Distribuirea simplificată a binelor MapReduce prin HDFS în memoria YARN Distributed Cache.
Există mai mult decât simple motive practice pentru a rămâne la curent. Există și motive tehnice. Hadoop are numeroase caracteristici avantajoase pentru organizații. Dacă aruncați o privire aprofundată asupra lor, veți avea o imagine clară a avantajelor.
Care este cea mai recentă actualizare din Hadoop?
Fiecare produs trece prin diferite etape ale lansărilor și vine cu diverse versiuni ale sale. Hadoop nu face excepție și a venit cu Hadoop 2.0. Fundația Apache a venit cu versiuni ulterioare ale Hadoop precum Hadoop 2.1.0, Hadoop 2.4.0 și a ajuns la Hadoop 2.5.1, care este cea mai recentă versiune lansată în septembrie 2014.
De ce a fost lansat Hadoop 2?
Cu noua versiune vine funcții adăugate și erori remediate. Așadar, de fiecare dată când utilizați o anumită versiune a Hadoop și credeți că poate fi adăugată o anumită caracteristică sau că trebuie remediate unele erori, îi informați pe băieții de la Apache Foundation. La rândul lor, acești tipi lucrează la el și vă oferă un produs mai bun în următoarea versiune.
Hadoop 2 - Nu doar un număr
Hadoop 2 nu este doar ultima versiune a Hadoop. În general, este o arhitectură de a doua generație. Arun Murthy, fondator și arhitect la distribuitorul Hadoop Hortonworks, insistă asupra faptului că distincția este importantă, deoarece cantitatea de reproiectare necesară pentru a muta Hadoop dincolo de procesarea în serie și în lumea analizelor în timp real a fost substanțială.
Să discutăm cât de diferit este Hadoop 2.0 de predecesorul său Hadoop 1.0. Evident, versiunea lansată ulterior va fi superioară versiunii anterioare. Următoarele sunt cele patru îmbunătățiri majore din Hadoop 2.0 față de Hadoop 1.x:
Federația HDFS - Scalabilitatea orizontală a NameNode
NameNode High Availability - NameNode nu mai este un singur punct de eșec
YARN - Abilitatea de a procesa Terabytes și Petabytes de date disponibile în HDFS utilizând aplicații non-MapReduce precum MPI, GIRAPH
Manager de resurse - împarte cele două funcționalități majore ale JobTracker supraîncărcat (gestionarea resurselor și programarea / monitorizarea lucrărilor) în doi daemoni separați: un manager de resurse global și ApplicationMaster per aplicație
Există caracteristici suplimentare, cum ar fi Capacity Scheduler (Activare suport multi-chirie în Hadoop), Instantaneu date, Suport pentru Windows, acces NFS, permițând adoptarea crescută a Hadoop în industrie pentru a rezolva problemele Big Data.
învățare profundă vs învățare automată vs recunoaștere a modelelor
Hadoop 2.X Vs Hadoop 1.X
Să facem o mică comparație și să vedem în ce moduri Hadoop 2.0 este mai bun și diferit de Hadoop 1.0
De ce este preferat Hadoop 2 față de Hadoop 1.0?
Hadoop 2.0 oferă îmbunătățiri de performanță care beneficiază de tehnologiile conexe din ecosistemul Hadoop. În afară de caracteristicile revoluționare ale HDFS și ale arhitecturii de a doua generație (YARN), există și mai multe și mai mari motive pentru a prefera Hadoop 2 față de Hadoop 1.0:
Hadoop 2 nu mai are restricții de limbă. Adică, o gamă largă de profesioniști pot folosi acum Hadoop.
Cu Hadoop 2, obstacole precum lipsa codificatorilor MapReduce sunt depășite.
De 2 ori mai rapid decât Hadoop 1.0
De 2 ori rentabilitatea investiției cu hardware-ul existent.
Cu YARN, interfața de programare a aplicațiilor este mult mai deschisă și mai flexibilă.
Hadoop 2 extinde posibilitățile de utilizare a Hadoop în proiectele Big Data.
Cu Hadoop 2, dezvoltatorii pot efectua acum o mare varietate de sarcini de analiză a datelor, dincolo de domeniul de aplicare anterior al Hadoop de procesare în serie.
Oferă noi oportunități managerilor de informații și soluționează deficiențele din versiunile anterioare.
Această nouă versiune are caracteristica unică de a rula mai multe sarcini de lucru pe același cluster Hadoop.
Hadoop nu mai este limitat la o singură caracteristică. Aplicația sa se extinde acum dincolo de HDFS și MapReduce.
Principalele avantaje ale YARN
Suntem conștienți de faptul că YARN este o arhitectură de a doua generație, să vedem ce o face atât de grozavă.
Scară
Noi modele și servicii de programare
Utilizare îmbunătățită a clusterului
Agilitate
Mult mai mult decât Java
Si multe altele
Cerere de abilități Hadoop 2
Organizațiile lansează sau experimentează acum cu Hadoop 2. În consecință, apare nevoia de profesioniști calificați în Hadoop 2. Multe organizații au început deja să caute intern ca oamenii să lucreze cu Hadoop. Există indicii clare că YARN este în creștere și va înlocui în cele din urmă cererea pentru abilitatea MapReduce.
Iată câteva puncte de vedere cu privire la cererea actuală și proiectată pentru abilitățile Hadoop:
Potrivit analiștilor de la Gartner, Hadoop 2 este o dezvoltare vitală, deoarece marile întreprinderi din întreaga lume au descoperit că Hadoop este un schimbător de jocuri în gestionarea Big Data.
Potrivit lui Eric Kavanagh, din grupul Bloor, Hadoop 2.0 a câștigat atenție în rândul lucrătorilor din domeniul informației care doresc să discute cu Big Data.
Adoptarea Hadoop 2.0 continuă să crească și intră acum în stadiul maturității.
Organizațiile sunt conștiente de beneficiile YARN și sunt încântate de acest lucru.
Iată un instantaneu al ofertelor de locuri de muncă pentru Hadoop 2.0 / YARN în Într-adevăr.com
Cine se mută la Hadoop 2 sau are deja?
Yahoo:
Yahoo! , liderul în toate lucrurile pe care Hadoop le-a implementat YARN (0.23.x). Potrivit lui Murthy, clusterul Yahoo de 35.000 de noduri procesează acum 130-150 de locuri de muncă pe zi, comparativ cu 50-60 înainte de YARN.
Când vorbește despre performanța stelară, Murthy citează: „Când ai 2x peste 35.000 până la 40.000 de noduri, este fenomenal”. El a adăugat, de asemenea, „Este o poveste destul de convingătoare să spui unui CIO că, dacă doar îți actualizezi software-ul de la Hadoop 1 la Hadoop 2, vei vedea îmbunătățiri de 2 ori ale randamentului în joburile tale.”
creați o matrice de obiecte java
eBay:
eBay are unul dintre cele mai mari clustere Hadoop din industrie, unde datele sunt în petabytes. De asemenea, și-au migrat grupurile către Hadoop 2.
Concluzie:
Având în vedere că Hadoop 2 este matur și mai ușor de implementat, ei chiar îi conving pe sceptici și tot mai multe organizații migrează la Hadoop 2.0. Există motive valabile pentru a evita versiunile 1.x. Dar cu Hadoop 2, chiar și necredincioșii îl iau în considerare, deoarece poate fi folosit pentru o gamă largă de utilizări. Învățând Hadoop 2.0 și implementându-l pentru a efectua calcule pe Big Data, veți deschide porțile către o carieră tehnic avansată și plină de satisfacții financiare.
Ai o întrebare pentru noi? Vă rugăm să le menționați în secțiunea de comentarii și vă vom răspunde.
Postări asemănatoare: