Map & Reduce가 대용량 데이터를 분석하기에는 좋은 기술이지만 데이터를 분석 할때마다 여러가지 알고리즘을 직접 작성해야하는 불편요소가 있다.
다각적인 각도에서 데이터를 분석하기에는 기존의 OLAP 기반의 분석 시스템을 이용하면 SQL문을 사용 할 수 있기 때문에 더 유연한 데이터 리포팅이 가능하다. 또한 기존의 다양한 리포팅 도구와도 연계 할 수 있다.
ETL이나 기타 여러 가지 로그 수집 시스템을 통해서 데이터를 수집 하고 하둡과 같은 대용량 파일 시스템에 데이터를 저장한 후에 하둡 인프라를 이용해서 데이터를 정제 및 가공한 후에 OLAP 데이터 베이스에 저장한다. 이후에 OLAP에 저장된 데이터를 리포팅 도구를 이용해서 여러 형태의 뷰로 생성한다.
이전 글
Map & Reduce 기반의 분석 시스템
기존의 전통적인 OLAP RDBMS을 이용한 데이터 분석이 용량의 한계로 다른 접근 방법을 사용하게 되었다. 대표적인 방법으로 Map & Reduce라는 방법을 사용한 데이터 분석이 있다. Map & Reduce는 프로그래밍 아키..
alsyean.tistory.com
다음 글
실시간 분석 시스템
OLAP나 Map & Reduce 방식은 일반적으로 배치(Batch) 방식이라고 이야기 한다. 이러한 방식은 로그 데이터가 생성된지 하루나 이틀 이후에 리포트가 생성되기 때문에 신속한 의사 결정이 어렵다 그래서 실시간으로..
alsyean.tistory.com
이 글은 조대협의 서버사이드 대용량 아키텍처와 성능 튜닝 책을 참고하여 작성되었습니다.
이 글은 코드프레소 DevOps Roasting 코스를 수강하면서 작성한 글입니다.
'아키텍처' 카테고리의 다른 글
| [조대협 대용량 아키텍처]OAM Layer (0) | 2020.02.10 |
|---|---|
| [조대협 대용량 아키텍처]실시간 분석 시스템 (0) | 2020.02.10 |
| [조대협 대용량 아키텍처]Map & Reduce 기반의 분석 시스템 (0) | 2020.02.10 |
| [조대협 대용량 아키텍처]전통적인 OLAP 방식의 분석 시스템 (0) | 2020.02.10 |
| [조대협 대용량 아키텍처]Analysis Layer (0) | 2020.02.10 |