OLAP나 Map & Reduce 방식은 일반적으로 배치(Batch) 방식이라고 이야기한다.
이러한 방식은 로그 데이터가 생성된 지 하루나 이틀 이후에 리포트가 생성되기 때문에 신속한 의사 결정이 어렵다
그래서 실시간으로 리포트를 받아보고 거기에 따른 의사결정이 어렵기 때문에 이를 해결하기 위해서 실시간 데이터 분석으로 개발 환경을 바꾸고 있다.
OLAP에서는 실시간 BI(Busindess Intelligence)로 발전하였고 근래에 주목받는 형태의 중의 하나인
CEP(Complex Event Processiong)이라는 개념을 사용한다.
실시간 데이터 분석은 스트리밍 기술이 필요하다.
실시간으로 흐르는 데이터에 대해서 통계 분석을 할 수 있는 기술이 필요하다.
이러한 기술들은 Storm이나 Spark 등을 이용해서 구현되는 경우가 많다.
이전 글
Map & Reduce + OLAP
Map & Reduce가 대용량 데이터를 분석하기에는 좋은 기술이지만 데이터를 분석 할때마다 여러가지 알고리즘을 직접 작성해야하는 불편요소가 있다. 다각적인 각도에서 데이터를 분석하기에는 기존의 OLAP 기반의..
alsyean.tistory.com
더보기
이 글은 조대협의 서버사이드 대용량 아키텍처와 성능 튜닝 책을 참고하여 작성되었습니다.
이 글은 코드프레소 DevOps Roasting 코스를 수강하면서 작성한 글입니다.
'아키텍처' 카테고리의 다른 글
| [조대협 대용량 아키텍처]OAM Layer의 로그 관리 (0) | 2020.02.10 |
|---|---|
| [조대협 대용량 아키텍처]OAM Layer (0) | 2020.02.10 |
| [조대협 대용량 아키텍처]Map & Reduce + OLAP (0) | 2020.02.10 |
| [조대협 대용량 아키텍처]Map & Reduce 기반의 분석 시스템 (0) | 2020.02.10 |
| [조대협 대용량 아키텍처]전통적인 OLAP 방식의 분석 시스템 (0) | 2020.02.10 |