반응형 기록23 [TIL] 240105 - 데브코스 82일차 학습 내용 - Airflow API & Airflow 모니터링 새로 알게 된 것 Airflow에서 제공하는 API를 활용해서 실행 상태를 모니터링 할 수 있다. 또한 컨테이너에 접속하지 않고 API를 활용해 코드로 dag를 트리거 하거나, 환경변수, dag 목록을 확인할 수 있다. https://airflow.apache.org/docs/apache-airflow/stable/stable-rest-api-ref.html#section/Overview Airflow REST API airflow.apache.org Config API를 호출하면 막혀있는데 이걸 푸는 방법 http://localhost:8080/api/v1/config를 호출하면 airflow.cfg의 webserver 섹션에 있는 expo.. 2024. 1. 5. [TIL] 240103 - 데브코스 80일차 학습 내용 - airflow와 슬랙 연동하기 - CTAS 부분을 환경설정 파일로 분리 - airflow와 구글시트 연동하기 어려웠던 점 Airflow와 Slack을 연동하기 위해 slack api에서 연결이 되었는지 확인할 수 있는 테스트 curl을 실행했는데 could not resolve host:application 이라는 오류가 발생했다. 원인은 특수문자 때문이었다. 아래 블로그를 참고해 특수문자에 대한 처리를 한 후 curl 명령을 통해 slack 연동이 잘 된 것을 확인할 수 있었다. https://pacloud.tistory.com/2 AWS Slack으로 Monitoring 중 invaild_payload 오류 해결법(Window) 다양한 AWS 기능을 둘러보다, 현재 Splunk를 통해 .. 2024. 1. 3. [TIL] 231214 - 데브코스 60일차 학습 내용 - 3일 차 강의 실습 - 3일차 과제 진행 : 세계 나라 정보 API를 통해 얻은 데이터를 적재하는 DAG 작성 어려웠던 점 & 새로 알게 된 것 어제 실습을 따라 하다가 오류가 나서 오늘 이어서 진행했다. 실습 진행 중 만난 오류들 첫 번째 오류는 DAG could not be found 오류였는데, pymysql이 설치가 안 되어있어서 발생했던 오류였다. 따라서 설치를 통해 해결했다. 두 번째 오류는 어제는 잘 연결되던 redshift 연결이 갑자기 안 된다는 오류가 떴다. psycopg2.OperationalError: could not connect to server: Connection refused 아예 redshift 연결이 안 되는 건가 해서 Google colab에서 연결해 .. 2023. 12. 14. [TIL] 231212 - 데브코스 58일차 학습 내용 - 트랜잭션 - Airflow 설치 - Airflow의 기본 구조 새로 알게 된 것 DELETE FROM과 TRUNCATE의 차이 TRUNCATE - 조건을 지정해 삭제할 수 없음 - 트랜잭션을 무시함 DELETE FROM - 조건을 지정해 삭제할 수 있음 - 트랜잭션을 준수함 autocommit 속성 - True = 모든 sql이 바로 커밋된다. - False = 모든 sql이 바로 커밋되지 않아서 commit과 rollback을 호출해야 커밋이 된다. Airflow 설치 방법 1. 리눅스에 설치해서 사용(EC2 사용) 2. Docker 위에 설치해서 사용 Airflow의 기본 구조 1. DAG 생성 2. DAG를 구성하는 태스크 생성 3. 태스크들 간의 실행 순서 지정 DAG를 만들 때 스.. 2023. 12. 12. 이전 1 2 3 4 ··· 6 다음 반응형