[데이터 엔지니어] BI도구, 모니터링

Big Data, 분산처리

👋 들어가기전

• 데이터엔지니어, 빅데이터 전반적인 지식을 다음 페이지에 모아두고 있습니다. 필요시 확인하세요~

 

2022.08.09 - [Data Engineering/Data Engineering] - [데이터 엔지니어] 데이터 엔지니어, 빅데이터 다수의 링크

[데이터 엔지니어] 데이터 엔지니어, 빅데이터 다수의 링크

 

 

🚨 급한사람!!  이거만 보세요

• 모니터링(monitoring): 계획적으로 데이터 변화를 추적
  • ※ 간단하게 데이터를 살펴보는 것은 애드 혹 분석(ad hoc analysis)였다!
• 모니터링 필요 이유
  • 현재 상황을 파악하기 위한 도구
  • 다음 행동을 결정하기 위한 도움자료
• 데이터에 근거한 의사결정(KPI(Key Performance indicator) 모니터링)
  • 데이터 기반(data-driven) 의사결정: 직감에 의지하는 것이 아닌 객관적인 데이터를 근거한 의사결정 방법
  • e.g. DAU(Daily Active User, 서비스를 이용한 1일 유저 수)수치에 따른 의사결정
• 모니터링을 하기 위해 사용되는 소프트웨어 도구가 바로 BI 도구이다.
• 데이터 시각화 방법 3가지
  • BI 도구에서 직접 데이터 소스 접속(아주 간단한 데이터)
    • 장점: 간단함
    • 단점: BI 도구 측에서 지원하지 않는 데이터 소스에는 접속할 수 없다.
  • 데이터 마트를 준비하고, 그것을 BI도구로부터 열기
    • 장점: 어떤 테이블이라도 자유롭게 만들 수 있음
    • 단점: 데이터 마트의 설치 및 운영에 시간자원이 소모
  • 웹 방식의 BI도구를 도입하여 CSV 파일 업로드(매 데이터 마다 생성 업로드 프로그램 구축)
    • 장점: 스크립트로 자유롭게 데이터 가공
    • 단점: 데이터 생성 및 업로드에 프로그래밍이 필요
• 데이터 시각화 자동화
  • 데이터 시각화를 자동화 하기 위해서는 데이터 마트를 구축해야한다.
  • 빈도가 높은 테이블부터 낮은테이블 순으로 자동화를 실시한다.

 

• •