🗃️

Data Engineering

현대적인 데이터 엔지니어링 - EDA부터 실시간 처리까지 완벽 마스터

DataAdvanced48시간

이 모듈은 현재 개발 중입니다. 곧 완성된 콘텐츠로 만나보실 수 있습니다.

예정된 챕터

데이터 엔지니어링 기초와 생태계

데이터 엔지니어의 역할, 최신 트렌드, 커리어 패스

120분

탐색적 데이터 분석 (EDA) 완벽 가이드

Pandas, Polars로 하는 현대적 EDA, 시각화, 통계적 분석

240분

현대적 데이터 아키텍처 패턴

람다/카파 아키텍처, 데이터 메시, 레이크하우스 설계

180분

배치 데이터 처리와 ETL/ELT

Apache Spark, dbt, Airflow를 활용한 대규모 데이터 처리

300분

실시간 스트림 처리 마스터

Kafka, Flink, Spark Streaming으로 실시간 파이프라인 구축

300분

데이터 모델링과 웨어하우징

Kimball vs Inmon, Star Schema, Data Vault 2.0

240분

데이터 품질과 거버넌스

Great Expectations, dbt tests, 데이터 계보 추적

180분

클라우드 데이터 플랫폼 실전

Snowflake, BigQuery, Databricks, AWS/Azure/GCP 비교

240분

데이터 오케스트레이션

Airflow, Dagster, Prefect - 워크플로우 자동화

240분

성능 최적화와 비용 관리

쿼리 최적화, 파티셔닝, 인덱싱, 클라우드 비용 절감

180분

MLOps를 위한 데이터 엔지니어링

Feature Store, ML 파이프라인, 모델 서빙 데이터 준비

240분

실전 프로젝트와 케이스 스터디

Netflix, Uber, Airbnb의 데이터 플랫폼 분석

180분

예정된 시뮬레이터

탐색적 데이터 분석 플레이그라운드

인터랙티브 EDA - 데이터셋 업로드, 시각화, 통계 분석, 이상치 탐지

ETL/ELT 파이프라인 디자이너

드래그 앤 드롭으로 데이터 파이프라인 설계 및 실행

실시간 스트림 처리 실습실

Kafka + Spark Streaming 실시간 데이터 처리 시뮬레이션

데이터 레이크하우스 아키텍트

Delta Lake, Iceberg를 활용한 레이크하우스 설계

Airflow DAG 빌더

비주얼 DAG 작성 및 워크플로우 오케스트레이션

Spark 성능 최적화 도구

Spark Job 분석, 최적화 제안, 실행 계획 시각화

데이터 품질 관리 스위트

Great Expectations 기반 데이터 품질 검증 및 모니터링

클라우드 데이터 비용 계산기

AWS/GCP/Azure 데이터 서비스 비용 최적화 시뮬레이터

데이터 계보 탐색기

데이터 흐름 추적, 영향도 분석, 의존성 시각화

SQL 쿼리 성능 튜너

쿼리 실행 계획 분석, 인덱스 추천, 최적화 가이드