하둡 개발 준비

1. 실행 모드 결정

하둡에는 아래와 같이 3가지 실행 모드가 존재한다.

1. 독립 실행(Standalone) 모드: 기본 실행 모드. 환경설정 파일에 아무 설정 하지 않고 실행, 로컬 장비에서만 실행되어 로컬 모드(local) 라고도 함. 하둡에서 제공하는 데몬을 구동하지 않으므로 분산 환경을 고려한 테스트는 불가능. 단순히 맵리듀스 프로그램을 개발하고, 해당 맵리듀스를 디버깅하는 용도로만 적합하다.
2. 가상 분산(Pseudo-Distributed) 모드: 하나의 장비에 모든 하둡 환경설정을 하고, 하둡 서비스도 이 장비에서만 제공하는 방식을 말한다. HDFS와 맵리듀스와 관련된 데몬을 하나의 장비에서만 실행하게 되며, 하둡을 처음 공부할 때 이러한 방식으로 테스트 환경을 구성한다.
3. 완전 분산(Fully Distributed) 모드: 여러 대의 장비에 하둡이 설치된 경우로, 하둡으로 라이브 서비스를 할 때 이러한 방식으로 구성

가상 분산 모드의 경우 한 대의 장비만 준비하면 되고, 완선 분산 모드를 선택할 경우 최소 2대 이상의 장비를 준비해야 한다.

 

 

2. 리눅스 서버 준비

하둡은 리눅스 및 다양한 유닉스 계열 운영체제에서 설치할 수 있다.

윈도우에서 리눅스 운영체제를 사용하려면, 당연히 가상환경을 사용해야 한다.

 

VMWare를 설치해, 우분투 리눅스를 설치해보도록 하자.

 

우선, VMware Workstation Player를 다운로드 하도록 하자.

 

https://www.vmware.com/kr/products/workstation-player.html

VMware Workstation Player | VMware

 

이 포스트를 작성하는 시점인 22-12-29에는 17.0 버전이 가장 최신이다.

무료 다운로드 클릭

Go TO DOWNLOADS 클릭

운영체제가 윈도우이므로 상단의 Download 버튼 클릭

 

다운로드 파일을 실행시키면, 다음과 같은 창이 나타난다.

라이선스 동의 창에서 동의란에 체크 표시를 하고 Next를 누른다.

설치 폴더는 기본값 그대로 두고 Next를 누른다.

업그레이드 옵션은 체크 표시를 모두 해제한 다음 Next를 누른다.

단축키 설정 옵션은 기본값 그대로 두고 Next를 누른다.

Install 을 눌러 VMware 설치를 시작한다.

VMware 설치중

VMware 설치가 완료되면 Finish를 눌러 설치 과정을 종료하고, VMware를 실행한다.

 

VMware workstation player 프로그램 처음 실행 화면에서 무료사용 항목 선택 후 Continue를 클릭하고 Finish를 누른다.

 

그러면, Vmware Workstation Player 설치가 완료되면 프로그램의 초기화면이 나타난다.

이제, 우분투 리눅스를 설치하기 위한 가상머신을 생성하도록 한다.

위 화면에서, Create a New Virtual Machine을 선택한다.

이후 3개의 옵션 중, <우분투를 나중에 철치>하기 위해 세 번째 항목을 선택한다.

게스트 운영체제는 Linux를 선택하고, 버전은 Ubuntu를 선택한다.

새로 생성할 가상머신의 이름과 경로를 지정한다.

디스크 용량은 30GB로 설정(디스크 여유가 된다면 더 크게 잡는것이 좋다). 가상 파일을 단일 파일로 저장하기 위해 <Store virtual disk as a single file> 옵션을 선택하고 Next를 누른다.

가상머신 생성준비 완료 화면이 나타난다. Finish를 누르면 다음과 같이 가상머신이 생성되는 것을 볼 수 있다.

이제, 우분투 LTS 버전을 설치해 우분투 ISO 파일을 다운로드해보자.

https://ubuntu.com/download/desktop

Download Ubuntu Desktop | Download | Ubuntu

22.12.29 작성일 기준으로는 22.04.1 버전이 최신 LTS 버전이다.

Download 버튼을 눌러 설치한다. iso 파일 용량이 꽤 크기 때문에 설치하는데 시간이 걸린다는 점을 감안하자.

 

설치된 파일을 적절한 곳에 위치시킨 후, VMware Workstation Player 화면의 [Edit virtual machine settings]을 선택한다.

가상머신 좌측에서 [CD/DVD(STAT)] -> [Use ISO Image file:] -> 우분투 ISO 설치 파일을 선택한 다음 OK를 누른다.

이제, Play virtual machine을 눌러 가상머신을 시작한다.

다음과 같이 설치 화면이 뜬다.

Install Ubuntu를 선택해 영어 버전으로 설치하여도 되나, 한국어를 선택해 한국어 버전으로 설치가 가능하니, 입맛에 따라 설치를 진행한다.

Ubuntu 설치 버튼을 누른 후, 키보드 레이아웃을 선택한다.

나는 한국어 버전을 설치하니, [Korean]-[Korean]을 선택한다.

설치 옵션과 기타 설정은 '일반 설치', 'Ubuntu 설치 중 업데이트 다운로드'를 선택하고 <계속하기>를 누른다.

설치 형식은 '디스크를 지우고 Ubuntu 설치'를 선택하고, 지금 설치를 선택한다.

다음과 같이 경고 메시지가 뜨는데, 계속하기를 눌러 진행하면 된다.

거주 지역은 자동으로 Seoul이 선택되므로 계속하기를 누른다.

사용자 이름, 컴퓨터 이름, 암호는 알아서 설정한다.

이후 우분투 리눅스 설치가 진행된다.

설치가 완료된  후, '지금 다시 시작'을 누르면 된다.

 

3. 하둡 설치

https://janggeonwu97.tistory.com/47

hadoop 설치(기록용)

 

4. 하둡 실습

https://janggeonwu97.tistory.com/48

hadoop 실습 기록