[TIL] 240105 - 데브코스 82일차

학습 내용

- Airflow API & Airflow 모니터링

 

새로 알게 된 것

Airflow에서 제공하는 API를 활용해서 실행 상태를 모니터링 할 수 있다.

또한 컨테이너에 접속하지 않고 API를 활용해 코드로 dag를 트리거 하거나, 환경변수, dag 목록을 확인할 수 있다.

 

https://airflow.apache.org/docs/apache-airflow/stable/stable-rest-api-ref.html#section/Overview

Airflow REST API

 

Config API를 호출하면 막혀있는데 이걸 푸는 방법

http://localhost:8080/api/v1/config를 호출하면 

airflow.cfg의 webserver 섹션에 있는 expose_config 속성을 true로 지정하면 된다.

이 설정을 docker-compose.yaml 파일에서 지정하려면 AIRFLOW__WEBSERVER__EXPOSE_CONFIG: 'true’ 로 지정하면 된다.

 

Variables API가 반환하는 변수

http://localhost:8080/api/v1/variables를 호출하면 airflow web ui에서 등록한 변수와 동일한 변수들을 반환한다. 환경변수로 지정한 변수들은 반환되지 않는다.