분류 전체보기35 [Snowflake] 1. Snowflake Overview and Architecture Snowflake란? Snowflake란 데이터 저장, 데이터 처리부터 시각화, 머신러닝까지 한 번에 할 수 있는 클라우드 기반 통합 데이터 플랫폼이다. Traditional Data Architecture 기존의 데이터 아키텍쳐는 아래와 같다. 여러 데이터 소스들로부터 데이터를 가져와 데이터 수집/적재, 전처리, 정규화 및 집계, 분석, 시각화 등의 단계에 따라 각 S/W 시스템을 각각 구축하고 관리해야 한다. 또한 각 시스템마다 데이터 최신화에 대한 여러 관리 비용들도 발생할 것이다. 이러한 분리된 아키텍쳐에 대해 각 시스템과 데이터의 구축 및 관리, 확장에 대한 비용 이슈를 해결하기 위해 Snowflake가 등장했다. Modern Data Architecture with Snowflake 다음은 S.. 2023. 6. 9. [Kubernetes] Worker node Trouble Shooting Kubernetes 클러스터 구축 후 Worker node에서 kubectl get pods --all-namespaces 실행 시 에러가 발생하였다. [root@k8s-node1 ~]# kubectl get pods --all-namespaces E0601 10:55:18.184367 7412 memcache.go:265] couldn't get current server API group list: Get "http://localhost:8080/api?timeout=32s": dial tcp [::1]:8080: c E0601 10:55:18.186407 7412 memcache.go:265] couldn't get current server API group list: Get "http://loc.. 2023. 6. 1. AWS Summit 2023 Conference 컨퍼런스: [AWS] AWS Summit Seoul 2023 장소: 코엑스 컨벤션 센터 시간: 2023년 5월 3일 (수) ~ 4일 (목) 컨퍼런스 참석인원: 10,000명 ↑ Overview AWS Summit Seoul 2023은 국내 최대 규모의 IT 컨퍼런스로 AWS 및 이와 관련된 최신 클라우드 기술, 솔루션부터 데모를 경험해볼 수 있었다. 컨퍼런스는 크게 Day 1(산업 업종별 High Level strategies and use-cases), Day 2(기술 주제별 강연)로 나누어져 클라우드 입문자부터 전문가까지, 개발자부터 비즈니스 리더까지, 모드를 위한 맞춤형 프로그램을 경험할 수 있으며 업종별 고객 사례 강연, AWS 서비스를 활용한 AI/ML 최신 기술, 수준별 기술 강연을 통해 최신.. 2023. 5. 23. Snowflake 프로젝트 사전 준비 - 2 Snowflake 프로젝트 사전 준비 - 1에서는 자사 서버에 Airflow를 설치해보았다. 본 글에서는 Airflow Dags를 통해 RDBMS에서 데이터를 Extract하고 이를 Snowflake에서 Load하는 과정을 정리하려고 한다. 모든 과정을 DAG를 작성하여 처리하기 이전에 각 단계별로 기능 테스트를 시행한 후 최종적으로 DAG로 작성하여 처리할 예정이다.RDBMS - MySQL원천이 되는 RDBMS는 자사 서버에 설치되어 있는 MySQL을 사용했다. PoC 과정에서 Snowflake 크레딧 이슈로 인해 샘플 데이터를 RDBMS에 이관하여 테스트를 진행한 적이 있는데 그 데이터를 활용할 예정이다.CSV 데이터 추출먼저 적재 대상 테이블을 csv 파일로 추출한다.SELECT * FROM myd.. 2023. 5. 23. Snowflake 프로젝트 사전 준비 -1 본격적인 프로젝트를 수행하기에 앞서 구체적인 JOB이 설정되지 않았기 때문에 자사 서버에 고객의 운영 환경과 유사하게 설정하고 그에 따른 예상 시나리오를 테스트하며 프로젝트를 준비하려고 한다. 고객사는 현재 Airflow를 통해 AWS의 클라우드 스토리지 서비스인 S3에 데이터를 쌓고 있다. 따라서 자사 서버에 Airflow를 설치하여 환경 구축의 기본을 설정하고자 한다.Airflow 2.2.5 설치OS : Centos 7Airflow : 2.2.5 (LocalExecutor)MetaDatabase : PostgreSQL13PostgreSQL13 설치Airflow의 메타 데이터베이스는 기존 본사 서버(pb6)에 설치되어 있던 PostgreSQL13을 사용하였다. 아래는 설치되어 있지 않을 경우 설치 방법.. 2023. 5. 23. Snowflake PoC Snowflake PoC 목표AWS Redshift 속도 이슈 해결을 위한 벤치마크 체크(Slow-Query 이슈)AWS Redshift 개발 환경 구축 이슈 대응AWS Redshift 운영 비용 벤치마크 체크고객현황AWS Redshift를 서울 리전에서 사용 중고객 자체 시각화 서비스 (유니콘, 밀키웨이 등) 에서의 Slow Query 이슈특정 시간대 동시 사용자로 인한 병목현상 존재개발 환경 구축에 대한 비용 절감하고자 하는 니즈PoC 진행고객 : PoC 대상 데이터를 S3에 적재 및 테스트 쿼리 선정펜타시스템테크놀러지 : 데이터 정합성 및 기존 SQL/프로시저와의 차이 확인, 테스트 수행 및 결과 공유Snowflake : Redshift to Snowflake 방안 안내, 성능 및 기능테스트에 대한.. 2023. 5. 23. 이전 1 2 3 4 5 6 다음
