Dacă sunteți deja din Industria IT , trebuie să fii conștient de faptul că Date mare este discuția zilei. Fie că este vorba de noi start-up-uri care vin cu modele de afaceri inovatoare sau colegii tăi se mută pentru a se alătura acestor start-up-uri, din anumite motive, pășuni mai verzi par a fi Date mare industrie.
Dacă vă întrebați de ce, atunci vă recomand să citiți acest lucru până la sfârșit, deoarece acesta poate fi un blog autoexplorator, care vă conduce la ceea ce sunteți destinat.
Deci, de ce toate asteaHYPEînconjurător DATE MARE?
Este doar un alt domeniu care va ateriza refugiați din toate celelalte domenii temporar? Sau, va fi aici pe termen lung?
Dacă ar fi să presupun, aș spune că, nu numai că va fi aici pe termen lung, dar industria Big Data va fi la epicentrul avansării tehnologice.
Pentru că totul este pe caleDATE!
La fel ca Soarelese ridicăde laEstșiseturiînVest, utilizarea continuă a dispozitivelor de calcul / necomputare va avea ca rezultat o izbucnire de date greu de gestionat.
Când aceste date depășesc pragul de a fi manipulate de Excel sau de orice sistem de gestionare a bazelor de date, le numim DATE MARE .
Gândiți-vă, care a fost ultimul produs achiziționat de la Amazon? Care poate fi următorul produs pe care l-ați putea achiziționa pe baza activității anterioare? Răspunsurile la astfel de întrebări sunt stocate în Big Data.
Există o tendință de creștere în spatele unui produs? Sau, există o tendință de scădere? Va cumpăra un client „Ciorapi” atunci când cumpără „Pantofi”? Acestea sunt întrebări de rezolvare a problemelor de afaceri.
Și aceste întrebări pot fi ușor răspuns prin utilizarea Analize Big Data .
La urma urmei, la ce folosește datele, atunci când nu sunteți analizand aceasta?
La fel, este Big Datacomplet despreAnalitică?Nu complet, dar Analytics este premiul final.
care este exemplul unei clase în java
Alte fluxuri majore din Big Data suntDepozitareșiManagement.
Aici puteți contribui ca profesionist. Puteți să vă asumați rolul:
- Inginer Big Data
- Arhitect de soluții Big Data
Și asigurați-vă că datele mari generate sunt întotdeauna disponibile și pot fi utilizate pentru analize într-un moment ulterior. Deci, acest lucru ne aduce la întrebarea și hellip
Unde sunt stocate Big Data?
Poate fi stocat într-un fișierfisier Excel? Poate fi stocat într-unsistem de baze de date relaționale?
In niciun caz!
Dacă ar fi putut fi, atunci ar fi fost!
Și să fim numiți ceva diferit, toți împreună. Poate ceva de genulExcel-DatasauRDBMS-Date: D
Și asta ne-ar duce înapoi la PASUL 1 : - De ce Big Data nu poate fi gestionat folosind Excel? pentru căBig Data este prea fierbinte pentru ca Excel să fie gestionat. Și chiar și alte sisteme de gestionare a bazelor de date, de fapt.
Deci, care este alternativa?
Pentru manipularea Big Data, avem HADOOP . S-ar putea să fiți conștienți și de acest cuvânt. Dar, s-ar putea să vă întrebați, cum funcționează exact?
Pentru început, HADOOP este un produs alFundația APACHE. Apache este o organizație americană non-profit care susține dezvoltarea de software open-source.
Hadoop este definit ca un cadru de programare open-source bazat pe Java care acceptă procesarea și stocarea unor seturi de date extrem de mari într-un mediu de calcul distribuit.
Ce poate face Hadoop, dar Excel nu?
Procesați și înțelegeți datele nestructurate!Datele structurate care sunt în format tabelar sau altfel pot fi tratate cu ușurință. Excel o poate face, la fel și orice alt RDBMS.
Dar când lizibilitatea se reduce și datele sunt nestructurate, acolo este Big Datainstrumente precum HadoopScor. Un exemplu de date nestructurate este syslog . Un exemplu de imagine este mai jos.
converti obiectul în matricea php
Astfel de jurnale nu sunt cu siguranță interogabile folosind Excel.
Hadoop, la fel ca instrumentele Big Data, poate înțelege datele așa cum sunt, dezgropând modele și formând relații între diferite domenii. Și odată ce datele au o atingere relațională, esteGata de analiză.
Analiza este ceea ce va avea un impact de afaceri asupra unei organizații! Cariera dvs. va beneficia în mare măsură de implicarea sa în acest domeniu Big Data.
' Pot să o fac ca Hadoop-er? '
... poate fi următoarea întrebare din mintea ta. Și pe bună dreptate, Big Data este o piață la fel de fierbinte ca oricând și la fel de importantă ca oricând.
Fără Hadoop, companiile vor avea probleme cu Big Data. Și fără profesioniști calificați ca dvs., companiile vor avea probleme cu Hadoop.
obțineți lungimea matricei în javascript
Există un raport care spune că există un deficit de talente în acest domeniu. Deficitul de talent înseamnă mai puțini profesioniști, dar cerere mare. Și acest lucru este la scară globală și nu este limitat la o anumită geografie.
Vrei numere?
LA McKinsey Global Institute Studiul afirmă că SUA se vor confrunta cu o lipsă de aproximativ 190.000 de oameni de știință de date și 1,5 milioane de manageri și analiști care pot înțelege și lua decizii folosind Big Data până în 2018.
Sfaturi pentru carieră? Navigați când valurile sunt scăzute!
Dar tu ești restricționat numai Hadoop ?
Nu chiar. Există o serie de instrumente pentru procesarea Big Data, iar Hadoop este considerat unul dintre cele mai bune. Dar, nu de fiecare dată!
Există momente în care Hadoop nu este cel mai potrivit. De exemplu, dacă sunteți o persoană non-tehnică, care nu se pricepe prea bine la scrierea programelor MapReduce.
În astfel de cazuri, puteți utilizaTALEND, care vă oferă o interfață grafică pentru utilizator pentru a face tot ceea ce ați fi făcut altfel cu MapReduce.
Pentru a scrie coduri Java mai simple, puteți utilizaPORC.
Dacă doriți să rulați interogări de tip SQL pe Big Data, atunciSTUPpoate fi utilizat.
Dacă doriți să utilizați datele stocate într-o bază de date NoSQL, atunciHBasepoate fi utilizat.
Pentru efectuarea analizelor în timp real, puteți utilizaSCÂNTEIE.
Acestea sunt instrumente Big Data, care merg mână în mână cu Hadoop, dar nu înlocuiesc Hadoop. Acestea sunt programe de completare Hadoop pentru Big Data.
În plus, există câteva alte instrumente precum SQOOP, FLUME, OOZIE etc. care pot fi integrate cu cadrul Hadoop pentru rezolvarea diferitelor probleme de afaceri.
La ce se așteaptă industria de la dvs., ca expert în Big Data?
Industria are mare nevoie ARHITECȚI DE DATE MARI cine poate construi o soluție end-to-end de big data pentru organizațiile lor. Arhitecții Big Data sunt cei cu experiență în toate instrumentele menționate anterior.
Iată o mărturie a unui cursant Edureka despre curs:
Deveni un începând de la formarea de certificare Edureka Big Data And Hadoop care îi ajută pe cursanți să devină experți în HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume și Sqoop folosind cazuri de utilizare în timp real în domeniul Retail, Social Media, Aviație, Turism, Finanțe .