※ 실제 프로젝트를 진행하며 얻은 지식을 정리한 내용입니다.
※ 이론적인 내용보단 실무에서 사용하는 방식 위주로 작성하였습니다.
※ 잘못된 내용이 있다면 댓글로 지적 부탁드리겠습니다.
1. DW란?
1) DW (Data Warehouse)는 조직의 데이터를 통합하고, 이를 분석하고 보고하기 위한 중앙 데이터 저장소입니다.
2) DW는 주로 비즈니스 인텔리전스(BI)나 데이터 분석을 지원하는 데 사용됩니다.
3) 대량의 데이터를 효율적으로 저장하고, 사용자가 쉽게 분석하고 보고서를 생성할 수 있도록 도와줍니다.
2. 기간계 데이터를 ETL 한다 ?
1) DW영역으로 데이터를 가지고 오기 위해서는 ETL( Extract, Transform, Load )작업이 필요합니다.
1. ETL은 추출, 변환, 적재를 이야기 합니다.
2. ETL쿼리를 사용하여 데이터가 DB to DB로 이동합니다.
3. DW의 대략적인 흐름은 아래 사진 참고 바랍니다.
※ 아키텍처 및 ETL방식은 다를 수 있습니다. 가볍게 참고만 부탁드립니다.
1. 기간계 업무시스템에서 DW ODS영역으로 ETL쿼리를 활용하여 데이터를 가지고 옵니다.
1-1. DW영역은 스키마로 구분하여 ODS 영역과 마트영역을 구분하고 있습니다.
1-2. 데이터를 가져오는 방식은 실시간 동기화(CDC), 야간배치로 전일자 데이터까지 동기화(ETL) 등이 있습니다.
1-3. 각자 장단점이 존재하며, 해당 내용은 별도 포스팅 하겠습니다.
2. ODS영역은 기간계 데이터의 그대로 가져온 상태(ROW DATA)로 존재합니다.
2-1. ODS데이터는 기간계와 같은 데이터인데 왜 굳이 별도로 DB를 구성해서 하지? 라는 의문이 들 수 있습니다.
2-2. 보통 DW의 경우 집계성 쿼리가 많아 DB에 부하를 많이 줍니다. 때문에 업무시스템 사용에 지장을 줄 수 있기 때문에
일반적으로는 별도의 DB를 구성합니다.
3. ODS영역에서 마트영역으로 ETL 쿼리를 통해 마트 테이블을 구성합니다. (팩트, 디멘전)
3-1. 팩트 테이블은 대부분 집계된 데이터들이 있는 집계성 테이블입니다.
3-2. 디멘전 테이블은 대부분 코드성 테이블입니다.
4. 보통 마트 테이블의 아키텍처는 OLAP쿼리에 적합한 구조로 되어있습니다.
5. 해당 마트영역에 구성된 테이블을 BI가 사용하는 DB에 ETL하거나 마트 테이블을 바로 읽어서(OLAP) BI를 구성합니다.
6. BI는 정형레포트와 비정형레포트 등이 있습니다.
6-1. 정형레포트는 고정된 양식으로, 정기적인 데이터 제공을 위해 사용합니다. ex) 일일보고서, 재무보고서 등
6-2. 비정형레포트는 유연한 형식으로 다양한 데이터 분석을 위해 사용합니다.
ex) A 지역의 2024년 3분기 매출 → 4분기로 변경 → 23년으로 변경 등 자유롭게 변경 가능
'2F(IT) > IT 지식' 카테고리의 다른 글
| SI개발, SM개발 (2) | 2024.12.29 |
|---|