administrator certificat cloudera pentru apache hadoop
Aceasta este una dintre cele mai importante caracteristici ale Hadoop 2.0. Înainte de a discuta caracteristica Namenode High Availability, este esențial să știm ce este Quorum. Cvorumul este un termen generic utilizat în grupare, unde spunem că un anumit cluster este stabil. Cvorumul oferă o listă de mașini și ajută la determinarea stării de sănătate a clusterului. Există două tipuri de cvorum: cvorumul așteptat și cvorumul calculat.
NameNode Disponibilitate ridicată cu Quorum Journal Manager (QJM)
Înainte de Hadoop 2.0, NameNode era un singur punct de eșec (SPOF) într-un cluster HDFS. Fiecare cluster avea un singur NameNode și, dacă mașina respectivă nu era disponibilă, clusterul în ansamblu ar fi indisponibil până când NameNode fie va fi repornit, fie va fi pornit pe un computer separat. Într-un cluster clasic HA, două mașini separate sunt configurate ca NameNodes. În orice moment, unul dintre NameNodes va fi în stare activă, iar celălalt va fi în stare de așteptare. Active NameNode este responsabil pentru toate operațiunile clientului din cluster, în timp ce Standby-ul acționează pur și simplu ca un sclav, menținând o stare suficientă pentru a oferi un failover rapid.
Pentru ca nodul Standby să își păstreze starea coordonată cu nodul Active, ambele noduri comunică cu un grup de daemoni separați numiți „JournalNodes” (JN). Când orice modificare a spațiului de nume este efectuată de nodul activ, acesta înregistrează o înregistrare a modificărilor efectuate, în JournalNodes. Nodul Standby este capabil să citească informațiile modificate din JN-uri și le monitorizează în mod regulat pentru modificări. Pe măsură ce nodul de așteptare vede modificările, apoi le aplică propriului spațiu de nume. În cazul unui failover, modul Standby se va asigura că a citit toate modificările din JounalNodes înainte de a-și schimba starea în „Stare activă”. Acest lucru garantează că starea spațiului de nume este complet sincronizată înainte de apariția unei failover.
Pentru a furniza o trecere rapidă la eșec, este esențial ca nodul Standby să aibă informațiile actualizate și actuale cu privire la locația blocurilor din cluster. Pentru ca acest lucru să se întâmple, DataNodes sunt configurate cu locația ambelor NameNodes și trimit informații despre locația blocului și bătăile inimii către ambele.
Este esențial ca doar unul dintre NameNodes să fie activ la un moment dat. În caz contrar, starea spațiului de nume ar devia între cele două și ar duce la pierderea datelor sau la rezultate eronate. Pentru a evita acest lucru, JournalNodes va permite un singur NameNode unui scriitor la un moment dat. În timpul unui failover, NameNode care urmează să devină activ va prelua responsabilitatea de a scrie în JournalNodes.
Ai o întrebare pentru noi? Vă rugăm să le menționați în secțiunea de comentarii și vă vom răspunde.
Postări asemănatoare:
cum se termină programul în java
Prezentare generală a Hadoop 2.0 Cluster Architecture Federation
cum se transformă dublul în int