Airflow PythonSensor 실습

Data Pipeline with Apache Airflow Apache Airflow 기반의 데이터 파이프라인 저서를 참고함 Airflow Sensor 소개 워크플로우를 트리거하는 여러가지 방법 중 외부 이벤트의 결과를 트리거로 워크플로우가 실행될 수 있게하는 방법에 대해서 소개하도록 한다. 예를 들면, 공유폴더에 파일이 업로드 되거나 Hive에 새로운 파티션이 생성됐을 때 워크플로우를 실행해야하는 경우가 있는데 이때 PythonSensor or FileSensor를 통해 새로운 데이터를 읽고 처리할 수 있다. 이러한 센서들은 특정 조건이 true인지 지속적으로 확인하고 true라면 성공하고 False면 상태가 true가 될 때까지 또는 타임아웃이 될 때까지 계속 확인한다. 여기서 센서의 타임아웃은 주..

2023.08.17