[데이터 엔지니어] 데이터 엔지니어, 빅데이터 다수의 링크

Big Data, 분산처리

※ 링크가 없을 경우 아직 작성 전 입니다.

🌈. 링크 모음

• 🌟데이터 엔지니어 로드맵
• 데이터 엔지니어 쿡북
• 코드너리 - 국내 기술 아키텍처
• AI-Hub - 국내 무료 데이터셋
• BI 도구
  • tableau-public

📖. 목차

1. 빅데이터 기초

  (1) 빅데이터 개요 — 분산시스템, 비즈니스, BI

  (2) 데이터 파이프라인

  (3) 데이터 처리

  (4) BI도구, 모니터링

 

2. 빅데이터 탐색

  (1) 크로스 집계

  (2) 열 지향 스토리지

  (3) 애드 훅 분석, 시각화 도구

  (4) 데이터 마트

 

3. 빅데이터 분산처리

  (1) 대규모 분산 처리 프레임워크

      (a) 구조화 데이터와 비구조데이터

      (b) Hadoop

      (c) Sparck

  (2) 쿼리엔진

  (3) 데이터마트 구축

 

4. 빅데이터 파이프라인

  (1) 워크플로 관리

  (2) 배치형 데이터 플로우

  (3) 스트리밍형 데이터 플로우

 

※ 기타

  (1) 데이터 웨어하우스

  (2) 클러스터링 기술

  (3) 데이터처리 — 배치

  (4) 데이터처리 — 스트리밍

  (5) 데이터처리 — 하이브리드

  (6) 메시징

  (7) 워크플로 스케줄링

  (8) 데이터 파이프라인 모니터링

  (9) 인프라구조 구축

  (10)  CI/CD