반응형 Data8 [PostgreSQL/Redshift] COPY FROM 명령어 사용 중 오류 COPY FROM 명령어 사용 중 오류 Redshift에서 COPY 명령어를 사용하던 중 오류가 발생했다. 오류 메시지를 확인하려면 sys_load_error_detail 테이블을 확인하라는 메시지가 떠서 아래 명령어를 통해 확인해봤다. SELECT query_id, table_id, start_time, trim(file_name) AS file_name, trim(column_name) AS column_name, trim(column_type) AS column_type, trim(error_message) AS error_message FROM sys_load_error_detail ORDER BY start_time desc LIMIT 10; 확인 결과 총 2가지 종류의 오류 메시지를 확인할 수.. 2023. 12. 6. [Superset] valueerror invalid decryption key 오류 오류 발생 Docker 위에서 Superset을 설치한 후에 데이터베이스를 연결하려는 과정에서 자꾸 invalid decryption key 오류가 발생했다. 해결 방법 docker-compose down -v 해당 명령어를 통해 실행 중인 컨테이너와 관련 리소스를 제거했다 docker-compose -f docker-compose-non-dev.yml up 그리고 다시 컨테이너를 실행한다. superset 연결이 잘 되었다면 기본적으로 examples 데이터베이스가 존재해야 한다. 잘 연결된 것을 확인할 수 있다. https://stackoverflow.com/questions/68060234/apache-superset-error-when-installing-locally-using-docker-co.. 2023. 12. 2. [Snowflake] Snowflake와 AWS S3 연결하기 Snowflake와 AWS S3 연결하기 1. S3 읽기 권한을 가진 IAM 사용자 생성 2. 생성한 사용자에게 S3ReadOnlyAccess 권한 추가 3. 해당 유저의 액세스 키 생성 사용자 선택 -> 보안 자격 증명 -> 액세스 키 4. AWS 외부에서 실행되는 애플리케이션 선택 5. Snowflake에서 쿼리문 실행 COPY INTO 불러온 값을 저장할 테이블명 FROM '불러올 파일의 s3주소' credentials=(AWS_KEY_ID='AWS_KEY_ID 값' AWS_SECRET_KEY='AWS_SECRET_KEY 값') FILE_FORMAT = (type='CSV' skip_header=1 FIELD_OPTIONALLY_ENCLOSED_BY='"'); 2023. 12. 1. [빅데이터를 지탱하는 기술] 데이터 파이프라인이란? 책 Chapter1-2 : 빅데이터 분석 기반의 내용을 기반으로 정리한 글입니다.데이터 파이프라인의 구성요소데이터 파이프라인은 다양한 소스에서 데이터를 수집하고, 이를 처리 및 저장한 후 분석하는 과정을 말한다. 데이터 파이프라인의 주요 구성 요소와 각각의 기능을 살펴보자.1. 데이터 수집데이터 파이프라인의 시작은 데이터를 수집하는 것부터 시작된다. 외부 소스, 로그, 센서, API 등 다양한 소스에서 데이터를 수집한다.데이터 전송 방법- 벌크형(Bulk) : 이미 존재하는 데이터를 정리해 추출하는 방법으로, 보통 정기적으로 데이터를 수집할 때 사용된다. - 스트리밍형(Streaming) : 생성되는 데이터를 계속해서 전송하는 방법으로, 모바일 어플리케이션과 임베디드 장비 등에서 데이터를 수집할 때 사.. 2023. 11. 23. 이전 1 2 다음 반응형
