개인 공부용

hadoop 실습 기록

JangGeonWu 2022. 10. 20. 16:26

1. hadoop fs -mkdir /example: hadoop 환경에서 example이라는 폴더를 생성

2. hadoop fs -copyFromLocal README.txt /example: Local 위치인 /usr/local/hadoop에 있는 README.txt를 hadoop 폴더인 example에 복사

3. hadoop fs -ls /example: hadoop 폴더인 example 안의 내용물 보기

 

4. cd share/hadoop/mapreduce: wordcount 사용하기 위해 이동

5. hadoop jar hadoop-mapreduce-examples-3.3.0.jar wordcount /example/README.txt /output : mapreduce인 wordcount를 hadoop /example 폴더 내에 있는 README.txt에 적용시킨 후, /output이라는 폴더를 만들어 거기에 저장한다.

 

참고로 README.txt는 이렇게 생겼다

 

5번을 실행하면 위와 같이 hadoop의 /output 폴더에 _SUCCESS와 part-r-00000 폴더가 생긴 걸 볼 수 있다.

_SUCCESS는 그냥 성공했다는 뜻이고, 우리는 part-r-00000에 집중하면 된다.

 

위의 README.txt에 wordcount가 적용된 걸 볼 수 있다.

wordcount 적용 끝!

 

여기서 끝이 아니다.

 

localhost:9870은 HDFS 네임 노드의 웹 인터페이스를 볼 수 있게 한다.

localhost:9870으로 접속한 후, 위의 Utilites > Browse the file System으로 들어간다.

 

그러면 위에서 생성한 두 폴더 example과 output이 있음을 볼 수 있다.

 

 

여기서 파일 확인이 가능하다.

 

실습

 

1. hadoop 환경에 /user/sesac 디렉토리 생성 후, /usr/local/hadoop/NOTICE.txt 찾아서 복사하기

hadoop fs(file system) 명령어로 리눅스 명령어처럼 사용 가능.

 

저 NOTICE.txt 파일은 hadoop 환경에 있는게 아니니, -copyFromLocal 옵션을 붙이자.

 

2. .txt 파일 찾아서 wordcount해서 ui 결과 확인

NOTICE.txt 파일이 잘 복사된 것을 볼 수 있다.

아래 명령어로 wordcount 적용시켜보자.

 

실행결과에 sesac이라는 이름을 붙여보자

이제 localhost:9870으로 접속해 sesac 파일이 생성된 것을 확인해보자

 

sesac 폴더가 생성된 것을 볼 수 있다. 확인해보자.

실습 끝!