[TIL] 240103 - 데브코스 80일차

 학습 내용

- airflow와 슬랙 연동하기

- CTAS 부분을 환경설정 파일로 분리

- airflow와 구글시트 연동하기

 

어려웠던 점

Airflow와 Slack을 연동하기 위해 slack api에서 연결이 되었는지 확인할 수 있는 테스트 curl을 실행했는데 

could not resolve host:application 이라는 오류가 발생했다.

원인은 특수문자 때문이었다. 아래 블로그를 참고해 특수문자에 대한 처리를 한 후 curl 명령을 통해 slack 연동이 잘 된 것을 확인할 수 있었다.

https://pacloud.tistory.com/2

AWS Slack으로 Monitoring 중 invaild_payload 오류 해결법(Window)

 

그런데 dag를 오류가 발생하게 수정한 후, airflow dags test 명령어를 실행했는데 터미널에는 잘 뜨는 오류 메시지가 슬랙에는 전송되지 않았다. 그래서 airflow web ui에서 dag를 트리거했더니 슬랙에 오류 메시지가 잘 전송되는 것을 확인할 수 있었다. 왜 그런 건지 아직 의문이다.

 

Redshift 데이터를 구글 시트로 가져오기 실습을 진행할 때 아래와 같은 오류가 발생했다.

Google Drive API has not been used in project

 

Google Cloud Console에서 Google Drive API를 활성화한 뒤 확인해보니 잘 동작했다.