[독서] 데이터 집계 고속화, 빅데이터를 지탱하는 기술

2장. 빅데이터의 탐색

2-2. 열 지향 스토리지에 의한 고속화

 

* 3계층 데이터 집계 시스템

데이터 레이크 ——-> 데이터 마트 ———-> 시각화 도구
               데이터 집계             크로스 집계

< 고속화 기법 > ‘압축’ ‘분산’
1. ‘압축’
: 열 지향 데이터 베이스
2. ‘분산’
: MPP

* MPP ( massive parallel processing : 대규모 병렬 처리 )
ex) Amazon Redshift, Google BigQuery (완전 관리형 서버리스 컴퓨팅 데이터 웨어하우스)
: 데이터 집계에 최적화, 데이터 웨어하우스와 데이터 분석용 데이터베이스에서 많이 사용
- 멀티코어 활용하기
- Hadoop 과 함께 사용되는 대화형 쿼리 엔진

 

< 행 지향 데이터베이스, 열 지향 데이터베이스 >

1. 행 지향 데이터베이스
- 테이블 각 행이 디스크 상에서 일련의 데이터로 쓰임, 고속 쓰기
- 인덱스 사용
2. 열 지향 데이터베이스 : Teradata(테라데이터), Amazon Redshint
- 칼럼별 데이터 보관, 집계 시 관련된 칼럼만 읽어 들임.
- 같은 칼럼, 유사한 데이터 많음 -> 압축 가능
- 집계 -> 고속 But, 저장 -> 저속

---

출처: 니시다 케이스케, 「빅데이터를 지탱하는 기술」, 제이펍, 2018, p56~64