하이브(Hive) 보이 너만 원해 하이브 설치법

제목은 내가 인생의 반이상을 케이팝 광인으로 살아와서 어쩔 수 없음

hive>  select ename, sal from emp;

이렇게 sql 쿼리를 날릴 수 있음

하이브(Hive)란 NoSQL(No Only SQL)

"자바를 몰라도 rdbms 에 익숙한 데이터 분석가들을 위해서
SQL을 이용해서 하둡의 멥리듀싱을 지원하는 프로그래밍 "
페이스북에서 만든 오픈소스

오라클과 MySQL은 small data를 다루는 경장비

hive는 bigdata를 다루는 중장비(포크레인)→ 아주 큰 데이터를 검색할때 유용함

본격적으로 하이브 설치하기

ㄱㅂㅈㄱ

1. 하이브 설치파일을 리눅스 시스템에 올립니다.

https://drive.google.com/file/d/1m1KoO-l6DXq_iy4cE7fkgoFGisIyU9Eb/view

hive-0.12.0.tar.gz

drive.google.com

- 모바텀을 이용해서 리눅스에 올림

2. 하이브 설치파일의 권한을 777로 올리고 소유자로 oracle 유져로 변경합니다.

[root@centos ~]# chmod 777 hive-0.12.0.tar.gz

[root@centos ~]# chown -R oracle:oracle hive-0.12.0.tar.gz

3. 하이브 설치파일을 /home/oracle 밑으로 복사합니다.

[root@centos ~]# cp /root/hive-0.12.0.tar.gz /home/oracle/

4. oracle 유져로 로그인해서 하이브 설치 파일의 압축을 풉니다.

(base) [oracle@centos ~]$ tar xvzf hive-0.12.0.tar.gz

5. 하이브 홈 디렉토리가 생성되었는지 확인합니다.

(base) [oracle@centos ~]$ ls  -ld   hive-0.12.0

6. oracle 유져의 환경 정보 파일인 .bash_profile 에 하둡 홈 디렉토리를 지정합니다.

(base) [oracle@centos ~]$ cd
(base) [oracle@centos ~]$ vi .bash_profile

#==================================
export  HIVE_HOME=/home/oracle/hive-0.12.0
export PATH=$HIVE_HOME/bin:$PATH
#==================================

7. .bash_profile 을 수행합니다.

(base) [oracle@centos ~]$ source .bash_profile

8. 하이브로 접속합니다.

(base) [oracle@centos ~]$ hive

Logging initialized using configuration in jar:file:/home/oracle/hive-0.12.0/lib/hive-common-0.12.0.jar!/hive-log4j.properties

hive> show  tables ;

9. hive 에 emp 테이블을 생성합니다.

create table emp          
(empno int,  
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int,
deptno int)
row format delimited 
fields terminated by ','   
lines terminated by '\n'   
stored as textfile ;

10. 별도의 터미널 창을 열고 oracle 유져로 접속하여 하둡파일 시스템에 emp.csv 와 dept.csv 를 올립니다.

(base) [oracle@centos ~]$ hadoop fs -put emp.csv /user/oracle/emp2.csv
(base) [oracle@centos ~]$ hadoop fs -put dept.csv /user/oracle/dept2.csv
(base) [oracle@centos ~]$ hadoop  fs  -lsr

왜 뭔데 외않되,,,,외않되냑오

해결완 역시 chat you 짱

안되는 이유는 원래 터미널을 열면 바로 뭐에 연결이 되어야하는데 그게 연결안됐던 거였음ㅇㅇ

그럴땐 그냥 su - oracle로 다시 재접속해주면 됨

11. 테이블 만든 터미널 창으로 돌아와서 하둡 파일 시스템의 emp2.csv 를 하이브 테이블 emp 에 입력합니다

hive>  load  data  inpath  '/user/oracle/emp2.csv'  overwrite   into   table  emp ;

hive> select * from emp;

12. 이름과 월급을 조회합니다.

진짜 설치하는게 세상에서 제일어렵다

Null Joahae