[조대협 대용량 아키텍처]전통적인 OLAP 방식의 분석 시스템

전통적인 기업형 업무에서는 RDBMS 기반의 분석 시스템을 사용했다.

OLAP(OnLine Anlaytics Processiong)이라는 형태의 분석에 최적화된 데이터베이스를 사용하여 데이터를 분석하여

리포트를 생성한다.

 

구조는 아래와 같다

조대협의 서버사이드 대용량 아키텍처와 성능 튜닝 그림 6-36

 

ETL(Extract Transform Loading)

• 여러 데이터 소스로부터 수집해서 변환 및 저장하는 역할
• E(Extract) : 다양한 데이터 소스로 부터 데이터를 추출, 텍스트 기반 파일에서 데이터를 추출하거나 다른 RDBMS로부터 데이터를 추출하는 기능을 수행한다.
• T(Transform) : 추출된 데이터를 수신 변환 하는 역할을 수행, 필요한 데이터만 선별 추출하거나 필드를 합치거나 특정 규칙에 따라 데이터를 변환한다.
• L(Loading) : 변환된 데이터는 수신 쪽 데이터베이스에 저장한다.

ETL 이외에도 근래에는 클라우드 기반의 분산 컴퓨팅 환경에 맞춰서 전문화된 로그 수집 설루션이 있다.

클라우드 환경의 특징은 로그 수집 대상이 되는 서버들이 분산되어 있으며 처리용량에 따라서 Scale Out/In을 사용하기 때문에 로그 수집 대상이 정적이지 않고 상황에 따라서 바뀐다.

 

 

데이터 웨어하우스와 데이터 마트

OLAP(OnLine Anlaytics Processiong) 형태의 데이터베이스에 저장한다.

기업 내의 모든 OLAP 시스템에서 수집된 모든 데이터는 먼저 데이터 웨어하우스(Data Warehouse)라는 중앙 집중화된 데이터 베이스에 저장된다.

저장된 데이터는 리포트를 보고자 하는 각 부서에 따라 다시 정제돼서 저장된다. 이렇게 부서별로 데이터가 저장되는 장소를 데이터 마트(Data Mart)라고 한다.

 

데이터 마트를 사용하는 이유

• 부서의 업무 성격에 따라서 테이블 구조나 데이터베이스 구조 변경이 필요하고 이러한 구조는 타부서에 영향을 줄 수 있다. 
• 데이터 베이스에 대한 변경을 자유롭게 할 수 있도록 부서 간에 공유되는 데이터 웨어하우스가 별도의 분리된 데이터 마트를 사용
• 서버마다 분석 데이터에 대해서 유지해야하는 주기가 다르다.
• 데이터 마트에 저장된 데이터는 리포팅 도구를 이용하여 업무의 특성에 맞게 적절한 분석을 통해서 가시화된 리포트 제공

 

이전 글

 

Analysis Layer

Analysis Layer

다음 글

Map & Reduce 기반의 분석 시스템

Map & Reduce 기반의 분석 시스템

---

이 글은 조대협의 서버사이드 대용량 아키텍처와 성능 튜닝 책을 참고하여 작성되었습니다.

이 글은 코드프레소 DevOps Roasting 코스를 수강하면서 작성한 글입니다.