Snowflake14 Snowflake Native Connector (MySQL, PostgreSQL) 지난 7월, Snowflake는 기존 Kafka용 Snowflake 커넥터 및 ServiceNow와 Google Analytics와 같은 SaaS 애플리케이션용 커넥터의 성공을 바탕으로 MySQL과 PostgreSQL용 커넥터를 새롭게 발표했다. 이번 글에서는 새롭게 출시한 MySQL, PostgreSQL용 커넥터에 대해 알아보고 어떻게 구성되는지와 실제로 커넥터를 활용하여 Snowflake로 데이터를 가져와보도록 하자. 본 글은 Snowflake 공식 튜토리얼을 참고하여 작성하였다.출처: https://other-docs.snowflake.com/en/connectors/tutorials/dbtutorial 새롭게 출시한 커넥터는 Snowpipe Streaming을 기반으로 구축되어 고객에게 비용 효율.. 2024. 12. 27. Oracle에서 Snowflake로 CDC(변경 데이터 캡처) 데이터 처리 CDC(Change Data Capture)는 데이터베이스에서 데이터 변경 사항(삽입, 업데이트, 삭제)을 추적하고 캡처하는 기술이나 프로세스를 의미한다. CDC는 실시간 데이터 동기화, 데이터 복제, 데이터 웨어하우스 로드, 로그 분석 등에 사용된다. 오늘날 CDC의 중요성은 데이터 중심 비즈니스 환경과 실시간 데이터 요구사항이 점점 더 증가하는 상황이다. 기업은 데이터의 신속한 활용과 통합을 통해 더 나은 의사결정을 내리고 경쟁 우위를 확보하려 하기 때문에 CDC는 필수적인 기술로 자리 잡고 있다. 그럼 이번 글에서는 Oracle에서 Snowflake로 CDC 데이터 처리를 어떻게 하는지 알아보도록 하자. 본 글에서는 실제로 수행했던 사례 기반으로 작성할 예정이다. 위 그림은 Oracle의 데이터를.. 2024. 12. 27. [Snowflake] 웨어하우스 캐시 최적화 Result Cache(Object Storage 사용) & Data Cache(Block Storage 사용)Result Cache개인적으로 Snowflake의 여러가지 장점 중 하나는 동일한 쿼리를 24시간 이내에 재수행한다면 Result Cache를 사용하여 결과를 Return 한다는 것이다. 이는 User가 이미 실행한 쿼리를 반복하고 쿼리의 마지막 수행 이후에 테이블의 데이터가 변화하지 않았다면, Snowflake는 쿼리를 실행하지 않고 캐시에서 직접 해당 결과를 검색하므로 쿼리 시간을 크게 단축시킬 수 있게 된다. 이러한 이유는 쿼리를 실행한 결과가 S3에 저장되기 때문에 24시간동안 많은 양의 쿼리가 수행되어도 S3에 저장되어 있어서 빠르게 결과를 가져올 수 있게 되는 것이다.아래 간단한 예.. 2024. 12. 17. [2] AWS PrivateLink를 이용한 Secure한 Snowflake 액세스 - Internal Stage (S3) 지난 글에서는 AWS PrivateLink를 통해 공용(Public) 인터넷망을 타지 않고 VPC 엔드포인트를 생성하여 Secure하게 Snowflake에 접근하는 법에 대해 알아보았다. 지난 글이 궁금하다면 아래 글을 참고하기 바란다. AWS PrivateLink를 이용한 Secure한 Snowflake 액세스AWS PrivateLink란?AWS PrivateLink는 Public(공용) 인터넷망을 타지 않고 AWS VPC와 Snowflake VPC 사이에서 직접 보안 연결을 할 수 있도록 비공개 VPC 엔드포인트를 생성하는 AWS 서비스이다. 따라서 AWS PrivateLinkheed159.tistory.com 이번 글에서는 Snowflake 클라이언트(SnowSQL, JDBC 드라이버)가 공용(P.. 2024. 10. 16. [1] AWS PrivateLink를 이용한 Secure한 Snowflake 액세스 AWS PrivateLink란?AWS PrivateLink는 Public(공용) 인터넷망을 타지 않고 AWS VPC와 Snowflake VPC 사이에서 직접 보안 연결을 할 수 있도록 비공개 VPC 엔드포인트를 생성하는 AWS 서비스이다. 따라서 AWS PrivateLink를 이용하면 같은 리전 안에서 AWS VPC와 Snowflake VPC 간에 Public(공용) 인터넷망을 타지 않도록 네트워크를 구성할 수 있다. VPN 환경에서 Snowflake에 접속하려면 AWS PrivateLink 설정이 필수적이다. 이번 글에서는 Snowflake에 필요한 AWS PrivateLink 설정 방법을 알아보자. 최종 목표 아키텍처는 아래와 같다. Snowflake 계정의 AWS PrivateLink 활성화 (Bu.. 2024. 10. 15. [Snowflake] 6. Data Sharing 이기종 DBMS 간의 데이터 동기화 이슈 기존 이기종 DBMS 간에 TDS 프로토콜을 사용해서 데이터를 공유하는 방식은 여러가지 문제점을 발생 시켰다. 이는 DBMS 마다 데이터 저장 방식과 데이터 형식, 스키마, 데이터 처리 방식, 엔진 등이 다르기 때문에 발생한 이슈이다. *TDS (Tabular Data Stream) 프로토콜이란 데이터베이스 서버와 클라이언트 간에 데이터를 전송하는 데 사용되는 애플리케이션 계층 프로토콜이다. 서로 다른 데이터 저장소끼리 데이터를 공유하기 위해서 발생하는 대표적인 동기화 이슈 다섯 가지는 아래와 같다. 이기종 환경 간의 데이터 복사 및 이동 필요 데이터 동기화 지연 발생 : 업무 영향도 발생 데이터 파이프라인 생성 및 관리 : 비용 이슈 여러 데이터 플랫폼과의 동기.. 2023. 6. 9. 이전 1 2 3 다음
