Comenzi HDFS: Comenzi Hadoop Shell pentru a gestiona HDFS



Acest blog vorbește despre diferitele comenzi HDFS, cum ar fi fsck, copyFromLocal, expunge, cat etc., care sunt utilizate pentru a gestiona sistemul de fișiere Hadoop.

Comenzi HDFS

In al meu bloguri anterioare Am discutat deja ce este HDFS, caracteristicile sale și arhitectura. Primul pas către călătoria către execută comenzi HDFS și explorează modul în care funcționează HDFS. În acest blog, voi vorbi despre comenzile HDFS cu ajutorul cărora puteți accesa sistemul de fișiere Hadoop.

Deci, permiteți-mi să vă spun comenzile HDFS importante și funcționarea acestora, care sunt utilizate cel mai frecvent atunci când lucrați cu sistemul de fișiere Hadoop.





  • fsck

Comandă HDFS pentru a verifica starea sistemului de fișiere Hadoop.

Comanda: hdfs fsck /



Sănătatea sistemului de fișiere HDFS - Comenzi HDFS - Edureka

  • eu sunt

Comandă HDFS pentru a afișa lista de fișiere și directoare în HDFS.

Comanda: hdfsdfs –Ls /



  • mkdir

Comandă HDFS pentru a crea directorul în HDFS.

Utilizare: hdfs dfs –mkdir / directory_name

Comanda: hdfs dfs –mkdir / new_edureka

Notă: Aici încercăm să creăm un director numit „new_edureka” în HDFS.

  • atingere

Comandă HDFS pentru a crea un fișier în HDFS cu dimensiunea fișierului 0 octeți.

Utilizare: hdfs dfs –touchz / directory / filename

Comanda: hdfs dfs –touchz / new_edureka / sample

Notă: Aici încercăm să creăm un fișier numit „sample” în directorul „new_edureka” de hdfs cu dimensiunea fișierului 0 octeți.

  • de

Comandă HDFS pentru a verifica dimensiunea fișierului.

seleniu webdriver testng exemplu de cadru

Utilizare: hdfs dfs –du –s / director / nume de fișier

Comanda: hdfs dfs –du –s / new_edureka / sample

  • pisică

Comandă HDFS care citește un fișier pe HDFS și imprimă conținutul acelui fișier la ieșirea standard.

Utilizare: hdfs dfs –cat / path / to / file_in_hdfs

Comanda: hdfs dfs –cat / new_edureka / test

  • text

Comandă HDFS care preia un fișier sursă și scoate fișierul în format text.

Utilizare: hdfs dfs –text / director / nume de fișier

Comanda: hdfs dfs –text / new_edureka / test

  • copyFromLocal

Comandă HDFS pentru a copia fișierul dintr-un sistem de fișiere local în HDFS.

Utilizare: hdfs dfs -copyFromLocal

Comanda: hdfs dfs –copyFromLocal / home / edureka / test / new_edureka

Notă: Aici testul este fișierul prezent în directorul local / home / edureka și după executarea comenzii, fișierul test va fi copiat în directorul / new_edureka al HDFS.

  • copyToLocal

Comandă HDFS pentru a copia fișierul din HDFS în sistemul de fișiere local.

Utilizare: hdfs dfs -copyToLocal

Comanda: hdfs dfs –copyToLocal / new_edureka / test / home / edureka

Notă: Aici testul este un fișier prezent în directorul new_edureka al HDFS și după executarea comenzii fișierul test va fi copiat în directorul local / home / edureka

  • a pune

Comandă HDFS pentru a copia o singură sursă sau mai multe surse din sistemul de fișiere local în sistemul de fișiere de destinație.

Utilizare: hdfs dfs -put

Comanda: hdfs dfs –put / home / edureka / test / user

Notă: Comanda copyFromLocal este similară cu comanda put, cu excepția faptului că sursa este limitată la o referință de fișier local.

  • obține

Comandă HDFS pentru a copia fișiere din hdfs în sistemul de fișiere local.

Utilizare: hdfs dfs -get

Comanda: hdfs dfs –get / user / test / home / edureka

Notă: Comanda copyToLocal este similară cu comanda get, cu excepția faptului că destinația este limitată la o referință de fișier local.

  • numara

Comandă HDFS pentru a număra numărul de directoare, fișiere și octeți sub căile care se potrivesc cu modelul de fișier specificat.

Utilizare: hdfsdfs -count

Comanda: hdfs dfs –count / user

  • rm

Comandă HDFS pentru a elimina fișierul din HDFS.

Utilizare: hdfs dfs –rm

Comanda: hdfs dfs –rm / new_edureka / test

  • rm -r

Comandă HDFS pentru a elimina întregul director și tot conținutul său din HDFS.

Utilizare: hdfs dfs -rm -r

Comanda: hdfs dfs -rm -r / new_edureka

  • cp

Comandă HDFS pentru a copia fișiere de la sursă la destinație. Această comandă permite și mai multe surse, caz în care destinația trebuie să fie un director.

Utilizare: hdfs dfs -cp

Comanda: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2

Comanda: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir

  • mv

Comandă HDFS pentru a muta fișierele de la sursă la destinație. Această comandă permite și mai multe surse, caz în care destinația trebuie să fie un director.

Utilizare: hdfs dfs -mv

Comanda: hdfs dfs -mv / user / hadoop / file1 / user / hadoop / file2

  • expune

Comandă HDFS care face gunoiul gol.

Comanda: hdfsdfs-expunge

  • rmdir

Comandă HDFS pentru a elimina directorul.

Utilizare: hdfs dfs -rmdir

părți ale unui program Java

Comanda: hdfs dfs –rmdir / user / hadoop

  • utilizare

Comandă HDFS care returnează ajutorul pentru o comandă individuală.

Utilizare: hdfs dfs -utilizare

Comanda: hdfs dfs -usage mkdir

Notă: Utilizând comanda de utilizare puteți obține informații despre orice comandă.

  • Ajutor

Comandă HDFS care afișează ajutor pentru comanda dată sau toate comenzile dacă nu este specificată nicio comandă.

Comanda: hdfs dfs -help

Acesta este sfârșitul blogului HDFS Commands, sper că a fost informativ și ați putut executa toate comenzile. Pentru mai multe comenzi HDFS, puteți consulta Apache Hadoopdocumentație Aici.

Acum că ați executat comenzile HDFS de mai sus, verificați de Edureka, o companie de învățare online de încredere, cu o rețea de peste 250.000 de elevi mulțumiți răspândiți pe tot globul. Cursul de formare Edureka Big Data Hadoop Certification îi ajută pe cursanți să devină experți în HDFS, Fire, MapReduce, Pig, Hive, HBase, Oozie, Flume și Sqoop utilizarea cazurilor de utilizare în timp real pe domeniul Retail, Social Media, Aviație, Turism, Finanțe.

Ai o întrebare pentru noi? Vă rugăm să o menționați în secțiunea de comentarii și vă vom răspunde.