Airflow (1) 썸네일형 리스트형 Airflow 소개 Airflow란 배치로 던지는 작업에 대한 실행 계획을 비순환 방향성 그래프로 나타내어 의존성, 진행 현황 등을 추적할 수 있는 workflow 엔진입니다. 대용량의 데이터를 가공할 때, 여러 로컬 머신에서 원격 클러스터로 작업을 제출하는 경우가 많습니다. 일회성 추출, 크론탭에 등록한 작업 등등.. 결국에는 여러곳에서 한정된 자원에 접근해야 하기 때문에, 이전 작업에 다음 작업이 영향을 받기 마련입니다. Airbnb에서는 이러한 이슈를 Airflow가 해결할 수 있다고 소개했습니다. 어떻게 해결할 수 있을까요? 1. 이전 작업이 끝난게 맞는지 확인하고 다음 작업을 실행한다. 작업은 가장 상위개념인 DAG, DAG를 이루는 다수의 Task로 구성됩니다. 엔지니어가 직접 Task들끼리의 실행 순서나 의존성.. 이전 1 다음