[TIL] 231214 - 데브코스 60일차

학습 내용

- 3일 차 강의 실습

- 3일차 과제 진행 : 세계 나라 정보 API를 통해 얻은 데이터를 적재하는 DAG 작성

 

어려웠던 점 & 새로 알게 된 것

어제 실습을 따라 하다가 오류가 나서 오늘 이어서 진행했다.

 

실습 진행 중 만난 오류들

 

첫 번째 오류는 DAG could not be found 오류였는데, pymysql이 설치가 안 되어있어서 발생했던 오류였다. 따라서 설치를 통해 해결했다.

 

두 번째 오류는 어제는 잘 연결되던 redshift 연결이 갑자기 안 된다는 오류가 떴다. 

psycopg2.OperationalError: could not connect to server: Connection refused

 

아예 redshift 연결이 안 되는 건가 해서 Google colab에서 연결해 본 결과, 연결은 잘 되었다.

혹시 몰라 airflow web ui에서 connections 정보에 redshift 포트 정보를 추가하니까 오류가 해결되었다.

 

임시 테이블 생성

CREATE TEMP TABLE ...

 

3일차 과제를 하다가 만난 오류들

1. 오타

- 항상 오타를 조심하자

 

2.  데이터 타입을 확인하지 않아 생긴 오류

- 내가 다루는 데이터가 어떻게 구성되어 있는지 확인하자

- 만약 문자열이라면 데이터에 이스케이프 문자가 있는지 확인하자

 

느낀 점

3일 차 실습과 과제를 진행하다가 만난 오류들을 해결하느라 4일 차 강의를 다 수강하지 못했다. 내일 무조건 4일 차 강의를 꼭 모두 수강할 것이다.