스파크 NameNode(네임노드)가 안 열릴 때 해결 방법

 

스파크 NameNode가 안 열릴 때 해결 방법

 

열심히 스파크를 깔았음에도 불구하고 스파크를 열때면 NameNode가 열려야하는데 안열려서 큰코다친 경험이 있다. 이는 경험에서 우러나오는 애환을 담은 포스팅이다. 아주 그냥 스파크 강의를 듣는데 나만 jps해도 다 안열려서 혼자 눈물줄줄손발덜덜

원래라면 아래와 같이 코드를 입력했을때, 

$ start-all.sh
$ jps

이렇게 6개가 나와야한다(숫자는 중요하지 않다.) SecondaryNameNode, DataNode, TaskTracker, JobTracker, Jps, NameNode 분명히 처음 깔때는 됐는데 다음날 실습을 하려고 열었을때 4개밖에 열리지 않아서 1차 멘붕 어어 나빼고 진도 나가면 안도ㅑ 그런데 선생님도 5개 밖에 안나와서 안도

그런데 선생님은 다음날됐어,,, 난 다음날도 안됨 그래서 나빼고 진도나감 흥 그래서 진짜 안해본방법이 없음 나는 마지막방법으로 해결완 같이 안되던 친구도 김초송님의 도움으로 마지막방법으로 해결

1번 방법: reboot

  가장 원초적인 방법이지만 사실 그만큼 확실함 일단 나는 이렇게 해도 안됐는데 내 뒤에 앉은 오빠는 이렇게 몇번 리부트하니까 해결됐다. 리눅스 프로그램만 끈게 아니라 아예 컴퓨터를 끄고 하나씩 천천히 켜니까 됐다함 ㅇㅇ 그런데 이제 성격 급한 나는 리부트 기다리는 게 너무 귀찮아서 두번 정도 시도하다가 포기 ><

 

2번째 방법 : $ start-all.sh & $ stop-all.sh 

  솔직히 이건 그냥 약간 세미리부트인셈이지... 근데 이마저도 안됐음 리부트보다는 시간을 아껴줌

  근데 진짜 스파크 아주 웃긴 애인게

어떨땐 이렇게 3개만뜨기도하고 4개떴다가 5개떴다가 후 짜짜 생각하니 또 화가나네 6개 빼고 다나옴

선생님의 말에 의하면 start, jps, stop을 천천히 5분씩 기다렸다가 하라고 하셨다. 그거듣고 약간 기도메타인가 싶었는데 실제로 NameNode를 여는데 이거만한게 없다고 한다. 내 컴퓨터가 똥컴인지 안된거같음 휴휴휴휴 보통은 리부트하고 기다렸다가 천천히 start=> jps 하면 해결이 되는 듯하다. 

3번째 해결법: 하둡네임노드 포멧

 1. 하둡을 모두 내립니다. 

[oracle@centos conf]$ stop-all.sh

 2.하둡 네임노드를 포멧한다. 

[oracle@centos conf]$ cd
[oracle@centos ~]$ hadoop namenode -format

 3. 하둡 데이터 노드와 네임노드의 데이터를 다 지웁니다. 

[oracle@centos dfs]$ pwd
/home/oracle/hadoop/hadoop-1.2.1/dfs
[oracle@centos dfs]$ ls
data  name
[oracle@centos dfs]$ cd data
[oracle@centos data]$ rm -rf *
[oracle@centos data]$ cd ../name
[oracle@centos name]$ rm -rf *

다시 하둡파일 시스템을 올린다.

[oracle@centos ~]$ start-all.sh

그렇다 사실 이것도 처음엔 안됐음 ㅎㅎㅎㅎㅎ 몇번하니까 됐는데 위의 3번 하둡 데이터노드와 네임노드의 데이터를 다 지우지 않고 그냥포멧만했더니 엄청 돌아가고 나서 다시 start-all.sh 하고 

침착하게 5분 기다리니까

꺅꺅꺆꺄꺆 스파크 드디어 열렸다

샤라웃투 김초송레이디...♥