반응형 전체보기119 [TIL] 240103 - 데브코스 80일차 학습 내용 - airflow와 슬랙 연동하기 - CTAS 부분을 환경설정 파일로 분리 - airflow와 구글시트 연동하기 어려웠던 점 Airflow와 Slack을 연동하기 위해 slack api에서 연결이 되었는지 확인할 수 있는 테스트 curl을 실행했는데 could not resolve host:application 이라는 오류가 발생했다. 원인은 특수문자 때문이었다. 아래 블로그를 참고해 특수문자에 대한 처리를 한 후 curl 명령을 통해 slack 연동이 잘 된 것을 확인할 수 있었다. https://pacloud.tistory.com/2 AWS Slack으로 Monitoring 중 invaild_payload 오류 해결법(Window) 다양한 AWS 기능을 둘러보다, 현재 Splunk를 통해 .. 2024. 1. 3. [Airflow] Airflow CLI 명령어 dag 목록 확인 airflow dags list dag 테스트 실행날짜에 대해 dag를 한 번 실행한다 이 명령어를 통해 dag가 잘 동작하는지 확인할 수 있다. airflow dags test dag이름 실행날짜 dag 트리거 airflow dags trigger dag명 dag 정지 airflow dags pause dag이름 dag state 확인 airflow dags state dag명 실행날짜 https://airflow.apache.org/docs/apache-airflow/stable/cli-and-env-variables-ref.html# Command Line Interface and Environment Variables Reference — Airflow Documentation .. 2023. 12. 14. [TIL] 231214 - 데브코스 60일차 학습 내용 - 3일 차 강의 실습 - 3일차 과제 진행 : 세계 나라 정보 API를 통해 얻은 데이터를 적재하는 DAG 작성 어려웠던 점 & 새로 알게 된 것 어제 실습을 따라 하다가 오류가 나서 오늘 이어서 진행했다. 실습 진행 중 만난 오류들 첫 번째 오류는 DAG could not be found 오류였는데, pymysql이 설치가 안 되어있어서 발생했던 오류였다. 따라서 설치를 통해 해결했다. 두 번째 오류는 어제는 잘 연결되던 redshift 연결이 갑자기 안 된다는 오류가 떴다. psycopg2.OperationalError: could not connect to server: Connection refused 아예 redshift 연결이 안 되는 건가 해서 Google colab에서 연결해 .. 2023. 12. 14. [TIL] 231212 - 데브코스 58일차 학습 내용 - 트랜잭션 - Airflow 설치 - Airflow의 기본 구조 새로 알게 된 것 DELETE FROM과 TRUNCATE의 차이 TRUNCATE - 조건을 지정해 삭제할 수 없음 - 트랜잭션을 무시함 DELETE FROM - 조건을 지정해 삭제할 수 있음 - 트랜잭션을 준수함 autocommit 속성 - True = 모든 sql이 바로 커밋된다. - False = 모든 sql이 바로 커밋되지 않아서 commit과 rollback을 호출해야 커밋이 된다. Airflow 설치 방법 1. 리눅스에 설치해서 사용(EC2 사용) 2. Docker 위에 설치해서 사용 Airflow의 기본 구조 1. DAG 생성 2. DAG를 구성하는 태스크 생성 3. 태스크들 간의 실행 순서 지정 DAG를 만들 때 스.. 2023. 12. 12. 이전 1 2 3 4 5 6 7 ··· 30 다음 반응형