데이터 파이프라인

4 posts

• [MLOps] Apache Airflow 기능 및 용어 정리

  2025년 8월 25일

  Apache Airflow의 핵심 구성 요소인 DAG, Operator 등을 활용하여 복잡한 데이터 파이프라인을 자동화하는 방법을 소개합니다. 파이썬 코드로 워크플로우를 손쉽게 관리할 수 있습니다.

• [MLOps] Data Pipeline Orchestration - Airflow, Perfect

  2025년 8월 25일

  데이터 오케스트레이션 툴은 복잡한 파이프라인의 종속성, 에러, 모니터링 과제를 해결합니다. 워크플로우를 자동화하여 안정적이고 효율적인 데이터 흐름을 구축할 수 있습니다.

• [AWS] AWS 기반 데이터 파이프라인 서비스 정리

  2025년 8월 3일

  스트림과 배치 처리의 차이를 이해하고, Kinesis, Glue, Athena 등 다양한 AWS 데이터 서비스를 활용하여 효율적인 데이터 파이프라인을 구축하는 방법을 알아봅니다.

• AWS 데이터 엔지니어링을 위한 AI/ML

  Updated:2025년 4월 15일

  AWS 데이터 엔지니어링 서비스(Data Pipeline, Batch, DMS, Step Functions 등)로 데이터 이동, 처리, 마이그레이션, 워크플로우를 효율적으로 구축하세요.