Polecenia HDFS: Polecenia powłoki Hadoop do zarządzania HDFS

Ten blog omawia różne polecenia HDFS, takie jak fsck, copyFromLocal, expunge, cat itp., Które są używane do zarządzania systemem plików Hadoop.

Polecenia HDFS

W moim poprzednie blogi , Omówiłem już, czym jest HDFS, jego funkcje i architektura. Pierwszy krok do podróży do wykonuje polecenia HDFS i bada, jak działa HDFS. Na tym blogu omówię polecenia HDFS, za pomocą których można uzyskać dostęp do systemu plików Hadoop.



Pozwólcie, że opowiem wam o ważnych poleceniach HDFS i ich działaniu, które są najczęściej używane podczas pracy z systemem plików Hadoop.



  • fsck

Polecenie HDFS, aby sprawdzić kondycję systemu plików Hadoop.

jak używać skanera w java

Komenda: hdfs fsck /



Stan systemu plików HDFS - Polecenia HDFS - Edureka

  • ls

Polecenie HDFS, aby wyświetlić listę plików i katalogów w HDFS.

Komenda: hdfsdfs –Ls /



  • mkdir

Polecenie HDFS, aby utworzyć katalog w HDFS.

Stosowanie: hdfs dfs –mkdir / nazwa_katalogu

Komenda: hdfs dfs –mkdir / new_edureka

Uwaga: Tutaj próbujemy utworzyć katalog o nazwie „new_edureka” w HDFS.

  • dotknąć

Polecenie HDFS, aby utworzyć plik w HDFS o rozmiarze pliku 0 bajtów.

Stosowanie: hdfs dfs –touchz / katalog / nazwa pliku

Komenda: hdfs dfs –touchz / new_edureka / sample

Uwaga: Tutaj próbujemy utworzyć plik o nazwie „sample” w katalogu „new_edureka” w formacie hdfs o rozmiarze pliku 0 bajtów.

  • z

Polecenie HDFS, aby sprawdzić rozmiar pliku.

Stosowanie: hdfs dfs –du –s / katalog / nazwa pliku

Komenda: hdfs dfs –du –s / new_edureka / sample

  • kot

Polecenie HDFS, które czyta plik na HDFS i drukuje zawartość tego pliku na standardowe wyjście.

Stosowanie: hdfs dfs –cat / ścieżka / do / plik_in_hdfs

Komenda: hdfs dfs –cat / new_edureka / test

  • tekst

Polecenie HDFS, które pobiera plik źródłowy i wyprowadza plik w formacie tekstowym.

Stosowanie: hdfs dfs –tekst / katalog / nazwa pliku

Komenda: hdfs dfs –text / new_edureka / test

  • copyFromLocal

Polecenie HDFS, aby skopiować plik z lokalnego systemu plików do HDFS.

Stosowanie: hdfs dfs -copyFromLocal

Komenda: hdfs dfs –copyFromLocal / home / edureka / test / new_edureka

Uwaga: Tutaj test jest plikiem obecnym w katalogu lokalnym / home / edureka i po wykonaniu polecenia plik testowy zostanie skopiowany do katalogu / new_edureka na HDFS.

  • copyToLocal

Polecenie HDFS, aby skopiować plik z HDFS do lokalnego systemu plików.

Stosowanie: hdfs dfs -copyToLocal

Komenda: hdfs dfs –copyToLocal / new_edureka / test / home / edureka

Uwaga: Tutaj test to plik obecny w katalogu new_edureka HDFS i po wykonaniu polecenia plik testowy zostanie skopiowany do katalogu lokalnego / home / edureka

silnia liczby java
  • położyć

Polecenie HDFS do kopiowania jednego źródła lub wielu źródeł z lokalnego systemu plików do docelowego systemu plików.

Stosowanie: hdfs dfs -put

Komenda: hdfs dfs –put / home / edureka / test / user

Uwaga: Polecenie copyFromLocal jest podobne do polecenia put, z tą różnicą, że źródło jest ograniczone do lokalnego odniesienia do pliku.

  • otrzymać

Polecenie HDFS do kopiowania plików z hdfs do lokalnego systemu plików.

Stosowanie: hdfs dfs -get

Komenda: hdfs dfs –get / user / test / home / edureka

Uwaga: Polecenie copyToLocal jest podobne do polecenia get, z tą różnicą, że miejsce docelowe jest ograniczone do odniesienia do pliku lokalnego.

  • liczyć

Polecenie HDFS, aby policzyć liczbę katalogów, plików i bajtów pod ścieżkami, które pasują do określonego wzorca pliku.

Stosowanie: hdfsdfs -count

Komenda: hdfs dfs –count / user

  • rm

Polecenie HDFS, aby usunąć plik z HDFS.

Stosowanie: hdfs dfs –rm

Komenda: hdfs dfs –rm / nowa_edureka / test

  • rm -r

Polecenie HDFS, aby usunąć cały katalog i całą jego zawartość z HDFS.

Stosowanie: hdfs dfs -rm -r

java co to jest zmienna instancji

Komenda: hdfs dfs -rm -r / nowa_edureka

  • cp

Polecenie HDFS do kopiowania plików ze źródła do miejsca docelowego. To polecenie zezwala również na wiele źródeł, w takim przypadku miejscem docelowym musi być katalog.

Stosowanie: hdfs dfs -cp

Komenda: hdfs dfs -cp / user / hadoop / plik1 / użytkownik / hadoop / plik2

Komenda: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir

  • mv

Polecenie HDFS do przenoszenia plików ze źródła do miejsca docelowego. To polecenie zezwala również na wiele źródeł, w takim przypadku miejscem docelowym musi być katalog.

Stosowanie: hdfs dfs -mv

Komenda: hdfs dfs -mv / użytkownik / hadoop / plik1 / użytkownik / hadoop / plik2

  • wykreślić

Polecenie HDFS, które powoduje opróżnienie kosza.

Komenda: hdfsdfs-wykreślić

  • rmdir

Polecenie HDFS, aby usunąć katalog.

Stosowanie: hdfs dfs -rmdir

Komenda: hdfs dfs –rmdir / user / hadoop

  • stosowanie

Polecenie HDFS, które zwraca pomoc dla pojedynczego polecenia.

Stosowanie: hdfs dfs -usage

Komenda: hdfs dfs -usage mkdir

Uwaga: Używając polecenia użycia, możesz uzyskać informacje o dowolnym poleceniu.

  • Wsparcie

Polecenie HDFS, które wyświetla pomoc dla danego polecenia lub wszystkich poleceń, jeśli żadne nie zostało określone.

Komenda: hdfs dfs -help

To już koniec bloga HDFS Commands, mam nadzieję, że był on pouczający i byłeś w stanie wykonać wszystkie polecenia. Aby uzyskać więcej poleceń HDFS, możesz polecić Apache Hadoopdokumentacja tutaj.

Teraz, gdy wykonałeś powyższe polecenia HDFS, sprawdź autorstwa Edureka, zaufanej firmy zajmującej się edukacją online, z siecią ponad 250 000 zadowolonych uczniów rozsianych po całym świecie. Szkolenie Edureka Big Data Hadoop Certification Training pomaga uczniom stać się ekspertami w zakresie HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume i Sqoop wykorzystanie przypadków użycia w czasie rzeczywistym w domenie handlu detalicznego, mediów społecznościowych, lotnictwa, turystyki, finansów.

Masz do nas pytanie? Wspomnij o tym w sekcji komentarzy, a my skontaktujemy się z Tobą.