Am învățat cum să Construiește stup și fire pe Spark . Acum să încercăm exemple Hive and Yarn pe Spark.
Exemplu Hive pe Spark
Vom rula un exemplu de Hive on Spark. Vom crea un tabel, vom încărca date în acel tabel și vom executa o interogare simplă. Când lucrați cu Hive, trebuie să construiți un HiveContext care moștenește din SQLContext .
Comanda: cd spark-1.1.1
Comanda: ./bin/spark-shell
Creați un fișier de intrare 'probă' în directorul dvs. de acasă, ca instantaneu de mai jos (separată de filă).
Comanda: val sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)
Comanda: sqlContext.sql („CREAȚI TABELUL DACĂ NU EXISTEZĂ testul (nume STRING, rang INT) FORMAT DE RÂND CÂMPURI DELIMITATE TERMINATE DE‘ ‘LINII TERMINATE DE‘
‘”)
Comanda: sqlContext.sql („LOAD DATA LOCAL INPATH‘ / home / edureka / sample ’INTO TABLE test”)
Comanda: sqlContext.sql („SELECT * FROM test WHERE rank<5”).collect().foreach(println)
Exemplu de fire pe Spark
Vom rula exemplul SparkPi pe Yarn. Putem implementa Yarn on Spark în două moduri: modul cluster și modul client. În modul „fire-cluster”, driverul Spark rulează într-un proces master al aplicației care este gestionat de Yarn pe cluster, iar clientul poate dispărea după inițierea aplicației. În modul fire-client, driverul rulează în procesul client, iar aplicația principală este utilizată numai pentru solicitarea resurselor de la Yarn.
Comanda: cd spark-1.1.1
Comanda: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executori 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar
După ce executați comanda de mai sus, vă rugăm să așteptați până când veți obține REUȘIT mesaj.
Naviga localhost: 8088 / cluster și faceți clic pe aplicația Spark.
Click pe busteni .
Click pe stdout pentru a verifica ieșirea.
cum se inversează un număr
Pentru a implementa Yarn on Spark în modul client, trebuie doar să faceți –Deploy-mode la fel de 'client'. Acum, știi cum să construiești Hive and Yarn on Spark. De asemenea, am făcut practici asupra lor.
Ai o întrebare pentru noi? Vă rugăm să le menționați în secțiunea de comentarii și vă vom răspunde.
postări asemănatoare
Apache Spark cu Hadoop-De ce contează?
Hive & Yarn Electrified By Spark