하둡 관리 명령어

하둡 명령어 분류

hadoop fs	일반 파일 시스템과 관련있음
hadoop dfs	hdfs에만 해당 더이상 사용하지 않음
hdfs dfs	hadoop dfs 대신 사용함

하둡관리 명령어 

하둡관리명령어 요약
ls	지정된 디렉토리에 있는 파일의 정보를 출력하는 명령어
lsr	현재 디렉토리 뿐만 아니라 하위 디렉토리까지 조회하는 명령어
du	파일의 용량을 확인하는 명령어
text	지정된 파일의 내용을 화면에 출력하는 명령어
put	리눅스 파일 시스템에 있는 파일을 하둡 파일 시스템에 올리는 명령어
get	하둡파일 시스템에 올린 파일을 리눅스의 로컬 시스템으로 내리는 명령어
mv	파일을 이동하는 명령어
rmr

ls 명령어: 지정된 디렉토리에 있는 파일의 정보 출력

lsr 명령어: 현재 및 하위 디렉토리까지 조회

$ hadoop fs -lsr /user

 

du 명령어: 파일의 용량을 조회 dus: 파일 전체의 용량 합계
수시로 사용되고 잇는 공간을 확인하면서 공간이 꽉차서 운영이 안되는 일이 생기지않도록 주의

• /user/oracle 밑에 있는 csv 파일들의 크기를 확인하시오

$ hadoop fs -dus /user/oracle/*.csv

 

text 명령어: 지정된 파일의 내용을 화면에 출력

$ hadoop fs -txt /user/oracle/emp.csv
$ hadoop fs -txt /user/oracle/dept.csv

 

put 명령어: 리눅스 파일 시스템에 있는 파일을 하둡 파일 시스템에 올림

$ hadoop fs -put /home/oracle/skin.csv /user/oracle/test/skin.csv

• 하둡 파일 시스템에 user/oracle 밑에 test라는 폴더는 없지만 위와 같이 수행하면 /user/oracle 및에 test라는 폴더가 생성되면서 그 폴더에 skin.csv 를 올린다.

 

get 명령어: 하둡파일 시스템에 올린 파일을 리눅스의 로컬 시스템으로 내림

$ hadoop fs -get /user/oracle/dept.csv /home/oracle/dept.csv

• 하둡 분산파일 시스템인 /user/oracle 밑에 있는 dept.csv를 리눅스의 /home/oracle 밑에 내린다.

 

mv 명령어: 파일을 이동함

hadoop fs -mv/user/oracle/test/skin.csv /user/oracle/skin2.csv

 

rmr 명령어: 디렉토리를 삭제