Hadoop3 하둡 관리 명령어 하둡 명령어 분류 hadoop fs 일반 파일 시스템과 관련있음 hadoop dfs hdfs에만 해당 더이상 사용하지 않음 hdfs dfs hadoop dfs 대신 사용함 하둡관리 명령어 하둡관리명령어 요약 ls 지정된 디렉토리에 있는 파일의 정보를 출력하는 명령어 lsr 현재 디렉토리 뿐만 아니라 하위 디렉토리까지 조회하는 명령어 du 파일의 용량을 확인하는 명령어 text 지정된 파일의 내용을 화면에 출력하는 명령어 put 리눅스 파일 시스템에 있는 파일을 하둡 파일 시스템에 올리는 명령어 get 하둡파일 시스템에 올린 파일을 리눅스의 로컬 시스템으로 내리는 명령어 mv 파일을 이동하는 명령어 rmr ls 명령어: 지정된 디렉토리에 있는 파일의 정보 출력 lsr 명령어: 현재 및 하위 디렉토리까지 조.. 2023. 4. 21. 하둡(hadoop)이란 무엇인가? 하둡은 대용량 데이터를 분산 처리할 수 있는 자바 기반의 오픈소스(무료)프레임워크입니다 분산처리란? 데이터를 여러개의 서버들에 나누서 저장하고 여러 서버들의 자원을 다 이용해서 데이터를 처리하는 것을 말합니다.구글에서 구글에 쌓이는 빅데이터를 처음에는 오라클에 저장하려고 했는데 너무 데이터가 많아서 오라클에 저장하는 것을 시패하고 나름의 방법으로 빅데이터를 저장하는 기술을 만들고 논문을 하나 발표했는데 그 논문을 더그커팅이라는 사람이 읽고 자바로 구현을 했습니다. 그리고 무료로 쓸 수 있게 한 것이 바로 하둡 hadoop이란 이름은 더그커팅의 아들이 노란 코끼리 장난감을 가지고 놀다가 ‘하둡’이라고 했다고 해서 하둡이라고 지었다고 합니다. 그리하여 하둡 생태계(Hadoop Ecosystem)에서 기생하게.. 2023. 4. 21. 하이브(Hive) 보이 너만 원해 하이브 설치법 제목은 내가 인생의 반이상을 케이팝 광인으로 살아와서 어쩔 수 없음 hive> select ename, sal from emp; 이렇게 sql 쿼리를 날릴 수 있음 하이브(Hive)란 NoSQL(No Only SQL) "자바를 몰라도 rdbms 에 익숙한 데이터 분석가들을 위해서 SQL을 이용해서 하둡의 멥리듀싱을 지원하는 프로그래밍 " 페이스북에서 만든 오픈소스 오라클과 MySQL은 small data를 다루는 경장비 hive는 bigdata를 다루는 중장비(포크레인)→ 아주 큰 데이터를 검색할때 유용함 본격적으로 하이브 설치하기 ㄱㅂㅈㄱ 1. 하이브 설치파일을 리눅스 시스템에 올립니다. https://drive.google.com/file/d/1m1KoO-l6DXq_iy4cE7fkgoFGisIyU9E.. 2023. 4. 19. 이전 1 다음
