LINUX2 스파크 NameNode(네임노드)가 안 열릴 때 해결 방법 스파크 NameNode가 안 열릴 때 해결 방법 열심히 스파크를 깔았음에도 불구하고 스파크를 열때면 NameNode가 열려야하는데 안열려서 큰코다친 경험이 있다. 이는 경험에서 우러나오는 애환을 담은 포스팅이다. 아주 그냥 스파크 강의를 듣는데 나만 jps해도 다 안열려서 혼자 눈물줄줄손발덜덜 원래라면 아래와 같이 코드를 입력했을때, $ start-all.sh $ jps 이렇게 6개가 나와야한다(숫자는 중요하지 않다.) SecondaryNameNode, DataNode, TaskTracker, JobTracker, Jps, NameNode 분명히 처음 깔때는 됐는데 다음날 실습을 하려고 열었을때 4개밖에 열리지 않아서 1차 멘붕 어어 나빼고 진도 나가면 안도ㅑ 그런데 선생님도 5개 밖에 안나와서 안도 그.. 2023. 4. 26. 하둡(hadoop)이란 무엇인가? 하둡은 대용량 데이터를 분산 처리할 수 있는 자바 기반의 오픈소스(무료)프레임워크입니다 분산처리란? 데이터를 여러개의 서버들에 나누서 저장하고 여러 서버들의 자원을 다 이용해서 데이터를 처리하는 것을 말합니다.구글에서 구글에 쌓이는 빅데이터를 처음에는 오라클에 저장하려고 했는데 너무 데이터가 많아서 오라클에 저장하는 것을 시패하고 나름의 방법으로 빅데이터를 저장하는 기술을 만들고 논문을 하나 발표했는데 그 논문을 더그커팅이라는 사람이 읽고 자바로 구현을 했습니다. 그리고 무료로 쓸 수 있게 한 것이 바로 하둡 hadoop이란 이름은 더그커팅의 아들이 노란 코끼리 장난감을 가지고 놀다가 ‘하둡’이라고 했다고 해서 하둡이라고 지었다고 합니다. 그리하여 하둡 생태계(Hadoop Ecosystem)에서 기생하게.. 2023. 4. 21. 이전 1 다음
