책소개
★ 곁에 두고 찾아보는 하둡 최고의 바이블 개정 4판 전격 출간!
하둡 프로젝트의 커미터이자 핵심 설계자인 톰 화이트가 집필한 이 책은 하둡 창시자인 더그 커팅을 비롯한 프로젝트별 전문가의 강력한 조언이 충실하게 반영되어 오랫동안 하둡 개발자의 바이블로서 자리를 지켜왔다.
이번 4판에서는 하둡 2.0 기반 YARN, 파케이, 플룸, 크런치, 스파크 프로젝트 예제와 헬스케어 시스템과 유전체 분석 사례가 새로이 추가되었다. 최신 하둡 정보는 물론이고 하둡과 연동하는 아파치 하둡 프로젝트의 서브 프로젝트인 피그, 주키퍼, HBase, 하이브, 스쿱, 에이브 등에 대해서도 다루기 때문에 하둡에 대한 전반적인 지식을 얻을 수 있다. 이 책은 대규모 데이터셋을 분석하는 개발자와 하둡 클러스터를 구축하고 사용하는 시스템 관리자를 위한 최고의 지침서다.
★ 개정4판에서 새로워진 내용
4판은 하둡 2 버전만을 다룬다. 하둡 2 버전은 현재 가장 활발히 개선되고 있으며 가장 안정된 하둡 버전이다. YARN(4장), 파케이(13장), 플룸(14장), 크런치(18장), 스파크(19장)를 다루는 새로운 장이 추가되었다. 이 책을 읽는 다양한 순서를 독자들에게 알려주는 절도 포함되었다. 또한 새로운 두 가지 사례 연구를 포함한다. 첫 번째는 헬스케어 시스템에서 하둡을 사용하기(22장), 두 번째는 하둡으로 유전체 데이터를 처리하기(23장)다. 하둡 최신 버전과 관련 프로젝트를 반영하고자 기존 내용에 많은 수정을 가해 개선했다.
★ 대상 독자
- 시스템 관리자
- 클라우드 컴퓨팅 분야의 학자, 개발자, 기술 기획자
- 데이터 마이닝 등 데이터 분석 및 알고리즘 학자, 개발자
★ 이 책에서 다루는 기술
- 맵리듀스, HDFS, YARN
- 애플리케이션 개발
- 피크, 하이브, 크런치, 스파크
- 분산 데이터베이스 HBase
- 분산 설정 서비스 주키퍼
- 하둡 클러스터 관리 및 설정
- 에이브로로 데이터 직렬화하기
- 파케이로 중첩 데이터 처리하기
- 플룸으로 데이터 수집하기
- 스쿱으로 데이터 일괄 전송하기
저자소개
2007년 2월부터 아파치 하둡 커미터가 되었고, 이후 아파치 소프트웨어 재단의 일원이 되었다. 현재 하둡에 대한 지원과 트레이닝을 제공하는 회사인 클라우데라에서 일하고 있다. 그전에는 독립적인 하둡 고문으로서 하둡을 설치, 사용, 확장하려는 회사와 일했다. oreilly.com, java.net, IBM developerWorks에 수많은 글을 썼으며 몇몇 컨퍼런스에서 하둡에 관해 연설했다.
케임브리지 대학교에서 수학 학사학위를 취득하고, 영국 리즈Leeds 대학교에서 과학 철학 석사학위를 취득하였다.
목차
★★★ Part 1 하둡 기초 ★★★
CHAPTER 1 하둡과의 만남
1.1 데이터!
1.2 데이터 저장소와 분석
1.3 전체 데이터에 질의하기
1.4 일괄 처리를 넘어서
1.5 다른 시스템과의 비교
1.6 아파치 하둡의 간략한 역사
1.7 이 책의 내용
CHAPTER 2 맵리듀스
2.1 기상 데이터셋
2.2 유닉스 도구로 데이터 분석하기
2.3 하둡으로 데이터 분석하기
2.4 분산형으로 확장하기
2.5 하둡 스트리밍
CHAPTER 3 하둡 분산 파일시스템
3.1 HDFS 설계
3.2 HDFS 개념
3.3 명령행 인터페이스
3.4 하둡 파일시스템
3.5 자바 인터페이스
3.6 데이터 흐름
3.7 distcp로 병렬 복사하기
CHAPTER 4 YARN
4.1 YARN 애플리케이션 수행 해부해보기
4.2 YARN과 맵리듀스 1의 차이점
4.3 YARN 스케줄링
4.4 참고 도서
CHAPTER 5 하둡 I/O
5.1 데이터 무결성
5.2 압축
5.3 직렬화
5.4 파일 기반 데이터 구조
★★★ Part 2 맵리듀스 ★★★
CHAPTER 6 맵리듀스 프로그래밍
6.1 환경 설정 API
6.2 개발환경 설정하기
6.3 엠알유닛으로 단위 테스트 작성하기
6.4 로컬에서 실행하기
6.5 클러스터에서 실행하기
6.6 잡 튜닝하기
6.7 맵리듀스 작업 흐름
CHAPTER 7 맵리듀스 작동 방법
7.1 맵리듀스 잡 실행 상세분석
7.2 실패
7.3 셔플과 정렬
7.4 태스크 실행
CHAPTER 8 맵리듀스 타입과 포맷
8.1 맵리듀스 타입
8.2 입력 포맷
8.3 출력 포맷
CHAPTER 9 맵리듀스 기능
9.1 카운터
9.2 정렬
9.3 조인
9.4 사이드 데이터 분배
9.5 맵리듀스 라이브러리 클래스
★★★ Part 3 하둡 운영 ★★★
CHAPTER 10 하둡 클러스터 설정
10.1 클러스터 명세
10.2 클러스터 설치 및 설정
10.3 하둡 환경 설정
10.4 보안
10.5 하둡 클러스터 벤치마크
CHAPTER 11 하둡 관리
11.1 HDFS
11.2 모니터링
11.3 유지 보수
★★★ Part 4 관련 프로젝트 ★★★
CHAPTER 12 에이브로
12.1 에이브로 자료형과 스키마
12.2 인메모리 직렬화와 역직렬화
12.3 에이브로 데이터파일
12.4 상호운영성
12.5 스키마 해석
12.6 정렬 순서
12.7 에이브로 맵리듀스
12.8 에이브로 맵리듀스를 이용하여 정렬하기
12.9 다양한 언어에서 에이브로 사용하기
CHAPTER 13 파케이
13.1 데이터 모델
13.2 파케이 파일 포맷
13.3 파케이 설정
13.4 파케이 파일 쓰기와 읽기
13.5 파케이 맵리듀스
CHAPTER 14 플룸
14.1 플룸 설치
14.2 예제
14.3 트랜잭션과 신뢰성
14.4 HDFS 싱크
14.5 분기
14.6 분배: 에이전트 계층
14.7 싱크 그룹
14.8 애플리케이션과 플룸의 통합
14.9 컴포넌트 목록
14.10 참고 도서
CHAPTER 15 스쿱
15.1 스쿱 얻기
15.2 스쿱 커넥터
15.3 임포트 예제
15.4 생성된 코드
15.5 임포트 자세히 살펴보기
15.6 불러온 데이터로 작업하기
15.7 대용량 객체 임포트하기
15.8 익스포트 수행하기
15.9 익스포트 자세히 살펴보기
15.10 참고 도서
CHAPTER 16 피그
16.1 피그의 설치 및 실행
16.2 예제
16.3 데이터베이스와 비교
16.4 피그 라틴
16.5 사용자 정의 함수
16.6 데이터 처리 연산자
16.7 피그 실무
16.8 참고 도서
CHAPTER 17 하이브
17.1 하이브 설치하기
17.2 예제
17.3 하이브 실행하기
17.4 전통적인 데이터베이스와의 비교
17.5 HiveQL
17.6 테이블
17.7 데이터 질의하기
17.8 사용자 정의 함수
17.9 참고 도서
CHAPTER 18 크런치
18.1 예제
18.2 크런치 핵심 API
18.3 파이프라인 실행
18.4 크런치 라이브러리
18.5 참고 도서
CHAPTER 19 스파크
19.1 스파크 설치
19.2 예제
19.3 탄력적인 분산 데이터셋 RDD
19.4 공유변수
19.5 스파크 잡 수행 분석
19.6 익스큐터와 클러스터 매니저
19.7 참고 도서
CHAPTER 20 HBase
20.1 HBase 개요
20.2 개념
20.3 설치
20.4 클라이언트
20.5 온라인 쿼리 애플리케이션 구축
20.6 HBase와 RDBMS의 비교
20.7 활용
20.8 참고 도서
CHAPTER 21 주키퍼
21.1 주키퍼 설치와 실행
21.2 예제
21.3 주키퍼 서비스
21.4 주키퍼 애플리케이션 구현
21.5 주키퍼 실 서비스
21.6 참고 도서
★★★ Part 5 사례 연구 ★★★
CHAPTER 22 서너의 구조적 데이터
22.1 CPU에서 시맨틱 통합까지
22.2 아파치 크런치의 도입
22.3 완전한 설계도의 제작
22.4 헬스케어 데이터 통합
22.5 프레임워크를 뛰어넘는 결합성
22.6 발전 방향
CHAPTER 23 생물학의 데이터 과학: 소프트웨어로 생명 구하기
23.1 DNA 구조
23.2 유전 암호: DNA 글자의 단백질 전환
23.3 DNA를 소스 코드처럼 생각하기
23.4 인간 게놈 프로젝트와 표준 게놈
23.5 DNA 시퀀싱과 얼라이닝
23.6 대규모 게놈 분석 플랫폼 ADAM
23.7 개인맞춤광고에서 개인맞춤의학까지
23.8 참여하기
CHAPTER 24 캐스케이딩
24.1 필드, 튜플, 파이프
24.2 연산
24.3 탭, 스킴, 플로
24.4 예제
24.5 유연성
24.6 쉐어디스에서의 하둡과 캐스케이딩
24.7 요약
부록 A 아파치 하둡 설치하기
부록 B 클라우데라 아파치 하둡 배포판
부록 C NCDC 기상 데이터 준비
부록 D 예전과 새로운 자바 맵리듀스 API
