본문 바로가기

분류 전체보기82

딥러닝 - 넘파이(numpy), 브로드 캐스트(broad cast) 인공지능의 눈(cnn) 공항 검색대에 위반된 물품을 자동으로 감지하는 딥러닝 시스템 개발 공장에서 생산하고 있는 불량품을 감지하는 딥러닝 시스템 개발 얼굴 성형과 관련해서 쌍커플 수술 안한 사람의 얼굴을 쌍커플 수술 한 사람의 얼굴로 변환 병원에 환장 데이터(엑스레이, ct 사진) 을 이용해서 질병을 예측하는 딥러닝 시스템 개발 기타 인공지능의 입과 귀(rnn) 금융 데이터를 모아서 주가를 예측하는 딥러닝 시스템 개발(뱅크 셀러드) 상담원을 대신하는 인공지능 상담원을 개발 음성관련한 회사( 강아지와의 대화 : 펫펄스랩) 옥주현 ai 머신 러닝 딥 러닝 숫자 데이터 사진 데이터 넘파이란? - numpy란 파이썬 언어에서 기본적으로 지원하지 않는 배열(array)혹은 행렬(matrix)의계산을 쉽게 해주는 .. 2023. 4. 25.
하둡 관리 명령어 하둡 명령어 분류 hadoop fs 일반 파일 시스템과 관련있음 hadoop dfs hdfs에만 해당 더이상 사용하지 않음 hdfs dfs hadoop dfs 대신 사용함 하둡관리 명령어 하둡관리명령어 요약 ls 지정된 디렉토리에 있는 파일의 정보를 출력하는 명령어 lsr 현재 디렉토리 뿐만 아니라 하위 디렉토리까지 조회하는 명령어 du 파일의 용량을 확인하는 명령어 text 지정된 파일의 내용을 화면에 출력하는 명령어 put 리눅스 파일 시스템에 있는 파일을 하둡 파일 시스템에 올리는 명령어 get 하둡파일 시스템에 올린 파일을 리눅스의 로컬 시스템으로 내리는 명령어 mv 파일을 이동하는 명령어 rmr ls 명령어: 지정된 디렉토리에 있는 파일의 정보 출력 lsr 명령어: 현재 및 하위 디렉토리까지 조.. 2023. 4. 21.
하둡(hadoop)이란 무엇인가? 하둡은 대용량 데이터를 분산 처리할 수 있는 자바 기반의 오픈소스(무료)프레임워크입니다 분산처리란? 데이터를 여러개의 서버들에 나누서 저장하고 여러 서버들의 자원을 다 이용해서 데이터를 처리하는 것을 말합니다.구글에서 구글에 쌓이는 빅데이터를 처음에는 오라클에 저장하려고 했는데 너무 데이터가 많아서 오라클에 저장하는 것을 시패하고 나름의 방법으로 빅데이터를 저장하는 기술을 만들고 논문을 하나 발표했는데 그 논문을 더그커팅이라는 사람이 읽고 자바로 구현을 했습니다. 그리고 무료로 쓸 수 있게 한 것이 바로 하둡 hadoop이란 이름은 더그커팅의 아들이 노란 코끼리 장난감을 가지고 놀다가 ‘하둡’이라고 했다고 해서 하둡이라고 지었다고 합니다. 그리하여 하둡 생태계(Hadoop Ecosystem)에서 기생하게.. 2023. 4. 21.
하이브(Hive) 보이 너만 원해 하이브 설치법 제목은 내가 인생의 반이상을 케이팝 광인으로 살아와서 어쩔 수 없음 hive> select ename, sal from emp; 이렇게 sql 쿼리를 날릴 수 있음 하이브(Hive)란 NoSQL(No Only SQL) "자바를 몰라도 rdbms 에 익숙한 데이터 분석가들을 위해서 SQL을 이용해서 하둡의 멥리듀싱을 지원하는 프로그래밍 " 페이스북에서 만든 오픈소스 오라클과 MySQL은 small data를 다루는 경장비 hive는 bigdata를 다루는 중장비(포크레인)→ 아주 큰 데이터를 검색할때 유용함 본격적으로 하이브 설치하기 ㄱㅂㅈㄱ 1. 하이브 설치파일을 리눅스 시스템에 올립니다. https://drive.google.com/file/d/1m1KoO-l6DXq_iy4cE7fkgoFGisIyU9E.. 2023. 4. 19.

티스토리툴바