Big Data a fost într-adevăr suficient de hyped în ultima vreme, la fel ca profesioniștii calificați care vin cu cunoștințele sale. A nu vă folosi abilitățile primare și a începe de la zero nu este întotdeauna o muncă ușoară. Cu toate acestea, utilizarea tăieturilor pătrate și adaptarea la bouncers va face minuni pentru tine. Bingo, vorbim despre învățarea Big Data folosind tehnologia ETL.
Dezvoltatorii ETL care proiectează fluxuri de lucru de transformare a datelor pot folosi foarte bine instrumente și pot traduce fluxurile de lucru în joburi Hadoop. Hadoop este un cadru open source care este utilizat pe scară largă pentru a procesa BigData folosind programul MapReduce (care este o altă tehnologie open source care ajută la procesarea unor cantități mari de date pe Hadoop). De cele mai multe ori, găsirea resurselor calificate în Big Data poate fi o provocare.
Dacă un dezvoltator ETL trebuie să găsească adresele IP care au făcut mai mult de un milion de solicitări pe site-ul web al băncii, trebuie să scrie un job MapReduce care procesează datele de jurnal web stocate în Hadoop . Cu toate acestea, odată cu progresul în tehnologia ETL, un dezvoltator de locuri de muncă poate utiliza instrumentele standard de proiectare ETL pentru a crea un flux ETL care poate citi date din mai multe surse din Hadoop (Fișiere, Hive, HBase), poate uni, agrega, filtra și transforma datele pentru a găsi un răspuns la interogarea adreselor IP.
Talend este singurul instrument de interfață grafică de utilizator suficient de capabil să „traducă” un job ETL într-un job MapReduce. Astfel, jobul Talend ETL este executat ca un job MapReduce pe Hadoop și realizează munca big data în câteva minute. Aceasta este o inovație cheie care ajută la reducerea barierelor de intrare în tehnologia Big Data și permite dezvoltatorilor de locuri de muncă ETL (începători și avansați) să efectueze descărcarea Data Warehouse într-o măsură mai mare.
Viața în orașul Big Data este mult mai ușoară cu Talend în jur
Un strat de abstracție grafică pe partea de sus a aplicațiilor Hadoop - acest lucru face viața mult mai ușoară în lumea Big Data.
Ceea ce are de spus Talend: „În conformitate cu istoria noastră ca inovator și lider în integrarea datelor open source, Talend este primul furnizor care oferă o soluție pură open source pentru a permite integrare big data . Talend Open Studio pentru Big Data, prin stratificarea unui mediu de dezvoltare grafic ușor de utilizat pe lângă aplicațiile puternice Hadoop, face ca managementul datelor mari accesibil mai multor companii și mai multor dezvoltatori ca niciodată.
Cu spațiul său de lucru grafic bazat pe eclipsă, Talend Open Studio for Big Data permite dezvoltatorului și cercetătorului în date să folosească tehnologiile de încărcare și procesare Hadoop precum HDFS, HBase, Hive și Pig fără a fi nevoie să scrie Aplicație Hadoop cod. Prin simpla selectare a componentelor grafice dintr-o paletă, aranjarea și configurarea acestora, puteți crea joburi Hadoop. De exemplu:
- Încărcați datele în HDFS (Hadoop Distributed File System)
- Utilizare Hadoop Porc pentru a transforma date în HDFS
- Încărcați datele într-un Hadoop Hive depozit de date bazat pe
- Efectuați agregări ELT (extrageți, încărcați, transformați) în Hive
- Pârghie Sqoop să integreze baze de date relaționale și Hadoop
Aplicații Hadoop, perfect integrate în câteva minute folosind Talend.
Pentru ca aplicațiile Hadoop să fie cu adevărat accesibile organizației dvs., acestea trebuie să fie integrate fără probleme în fluxurile de date generale. Talend Open Studio pentru Big Data este instrumentul ideal pentru integrarea aplicațiilor Hadoop în arhitectura de date mai largă. Talend oferă mai multe componente de conector încorporate decât orice altă soluție de integrare a datelor disponibilă, cu mai mult de 800 de conectori care facilitează citirea sau scrierea în orice format de fișier major, bază de date sau aplicație de întreprindere ambalată. De exemplu, în Talend Open Studio pentru Big Data, puteți utiliza componente configurabile drag 'n drop pentru a crea fluxuri de integrare a datelor care mută date din fișiere jurnal delimitate în Hadoop Hive, efectuează operațiuni în Hive și extrag date din Hive într-o bază de date MySQL (sau Oracle, Sybase, SQL Server și așa mai departe).
Doriți să vedeți cât de ușor poate fi să lucrați cu aplicații Hadoop de ultimă generație?
Nu este nevoie să așteptați - Talend Open Studio pentru Big Data este un software open source, gratuit pentru descărcare și utilizat sub licență Apache.
Vorbește în oraș
Talend a fost unVizionar în Magic Quadrant pentru instrumentele de integrare a datelordin 2009. Recent, au apărut și ca pionieri în domeniul calității datelor și MDM, precum și toate ingredientele pentru a găti un fel de mâncare fantastică Big Data.
Aceștia susțin că: „Integrarea Big Data crește performanța și scalabilitatea cu 45% în organizația dvs.”.
Numai Talend 5.5 (și o versiune ulterioară) permite dezvoltatorilor să genereze cod Hadoop de înaltă performanță fără a fi nevoie să fie un expert în MapReduce sau Pig.
Cu câteva luni în urmă, unul dintre articolele de la Talend spunea: „Adoptarea Hadoop este în creștere și companiile mari și mici se luptă să găsească destui dezvoltatori Hadoop cunoscuți pentru a satisface această cerere în creștere”. Numai Talend 5.5 permite oricărui dezvoltator de integrare a datelor să utilizeze un mediu de dezvoltare vizuală pentru a genera cod Hadoop nativ, de înaltă performanță și foarte scalabil. Acest lucru deblochează un fond mare de resurse de dezvoltare care pot contribui acum la proiecte de date mari. În plus, Talend rămâne la vârful noilor dezvoltări în Hadoop, care permit proiectelor de analiză big data să stimuleze interacțiunile în timp real cu clienții.
Talend pentru Big Data poate ajuta la înțelegerea organizațiilor prin colectarea seturilor de date din sisteme sursă eterogene - cum ar fi terțe părți, API-uri și fluxuri de rețele sociale - și transformarea acestor date într-o imagine vizuală a călătoriei clientului de la un capăt la altul.
Fie că este vorba despre industria bancară, produsele farmaceutice, comerțul electronic, asigurările - Talend poate integra date la orice scară cu un amestec ușor cu Hadoop dovedindu-se a fi cea mai avansată tehnologie pentru a satisface cererea prezentului și viitorului.
Utilizați cazuri din întreaga lume
Începând de la campania de marketing până la serviciul pentru clienți din industria bancară până la detectarea fraudelor, big data este peste tot.
Având mai mult de 800 de conectori singuri în ediția open-source, pretinde că este cea mai mare platformă cu cea mai mare suport pentru conectarea la orice și poate prelua totul.
Cu modelul în schimbare și aliniat la NoSQL, Open Source, Hadoop, alegerea învățării Big Data și a stilului ETL folosind Talend ar fi cea mai logică decizie pentru oricine se ocupă de date în orice formă și oricând.
Pe scurt, instrumentele ETL sunt departe de a fi trecute. Acestea sunt esențiale pentru ecosistemul Big Data și joacă un rol crucial în permiterea analizei datelor.
De aceea, Talend strălucește afirmând „Zero la Big Data fără codificare, în mai puțin de 10 minute”.
Ai o întrebare pentru noi? Menționați-le în secțiunea de comentarii și vă vom răspunde.
matrici de sortare c ++
Postări asemănatoare: