Jak uruchamiać skrypty Hive?

To jest samouczek dotyczący uruchamiania skryptów Hive. Uruchomienie tego skryptu skróci czas i wysiłek włożony w napisanie i wykonanie każdego polecenia ręcznie.

Będąc pakietem hurtowni danych zbudowanym na bazie Hadoop, Apache Hive jest coraz częściej używany do analizy danych, eksploracji danych i modelowania predykcyjnego. Organizacje szukają profesjonalistów, którzy są pewni siebie . W tym poście przyjrzyjmy się, jak uruchamiać skrypty Hive. Ogólnie rzecz biorąc, używamy skryptów do jednoczesnego wykonywania zestawu instrukcji. Skrypty Hive są używane w podobny sposób. Zmniejszy to czas i wysiłek, jaki wkładamy w ręczne pisanie i wykonywanie każdego polecenia.



Skrypty Hive są obsługiwane w wersji Hive 0.10.0 i nowszych. Ponieważ wersja Hive 0.90 jest zainstalowana w CDH3, nie możemy uruchamiać skryptów Hive w CDH3. Możesz wypróbować poniższe kroki w CDH4, ponieważ ma zainstalowaną wersję Hive 0.10.0. Czy wiesz, jak utworzyć skrypt Hive? Jeśli nie, kliknij aby uzyskać więcej wyjaśnień.



Master-Hive-Now

Zobaczmy teraz, jak pisać skrypty w Hive i uruchamiać je w CDH4:



Krok 1: Pisanie skryptu Hive.

Aby napisać skrypt Hive, plik powinien zostać zapisany z rozszerzeniem .sql. Otwórz terminal w swojej dystrybucji Cloudera CDH4 i wydaj następujące polecenie, aby utworzyć skrypt Hive.
Komenda: sudo gedit sample.sql

Po wykonaniu powyższego polecenia otworzy plik z listą wszystkich poleceń Hive, które należy wykonać.



W tym skrypcie zostanie utworzona tabela, opisana, a dane zostaną załadowane i pobrane z tabeli.

1. Tworzenie tabeli w gałęzi:

Komenda: utwórz tabelę produkt (productid: int, productname: string, price: float, category: string) wiersze format pola rozdzielane znakami zakończonymi znakiem „,”

odwrócenie liczby w java

Tutaj produkt to nazwa tabeli, a {productid, productname, price, category} to kolumny tej tabeli.

Pola zakończone znakiem „,” wskazują, że kolumny w pliku wejściowym są oddzielone symbolem „,”.

Domyślnie rekordy w pliku wejściowym są oddzielone nowym wierszem.

2. Opis tabeli:

Komenda: opisz produkt

3. Ładowanie danych do tabeli.

Aby załadować dane do tabeli, musimy najpierw utworzyć plik wejściowy zawierający rekordy, które należy wstawić do tabeli.

Utwórzmy plik wejściowy.

Komenda: sudo gedit input.txt

Edytuj zawartość pliku, jak pokazano na rysunku.

4. Pobieranie danych:

Aby pobrać dane, używane jest polecenie wyboru.

struktury danych i algorytmy w samouczku java

Komenda: Wybierz * z produktu

Powyższe polecenie służy do pobrania wartości wszystkich kolumn znajdujących się w tabeli. Skrypt powinien wyglądać tak, jak pokazano na poniższym obrazku.

Teraz skończyliśmy pisać skrypt Hive. Można teraz zapisać plik sample.sql.

Krok 2: Uruchamianie skryptu Hive

Poniżej znajduje się polecenie do uruchomienia skryptu Hive:

Komenda: gałąź –f /home/cloudera/sample.sql

jak używać podciągów w java

Podczas wykonywania skryptu upewnij się, że jest obecna pełna ścieżka do lokalizacji pliku skryptu.

Widzimy, że wszystkie polecenia są wykonywane pomyślnie.

W ten sposób skrypty Hive są uruchamiane i wykonywane w CDH4.

Hive jest kluczowym elementem Hadoop, a Twoja wiedza specjalistyczna w Hive może zapewnić Ci najlepiej płatne prace Hadoop! Edureka ma specjalnie opracowany kurs Hadoop, który pomaga opanować koncepcje, takie jak MapReduce, Yarn, Pig, Hive, HBase, Oozie, Flume i Sqoop. Kliknij poniższy przycisk, aby rozpocząć.

Masz do nas pytanie? Wspomnij o nich w sekcji komentarzy, a my skontaktujemy się z Tobą.

Powiązane posty:

Hive Commands

Modele danych ula