분류 전체보기35 [Airflow] Airflow Webserver Daemon TroubleShooting 필요한 Operator를 설치하고 이를 반영하기 위해 Airflow를 재구동하였는데 Airflow Webserver를 실행하니 프로세스가 정상적으로 올라오지 않고 종료되었다. airflow-webserver에 대한 에러 로그를 기록하는 airflow-webserver.err 파일을 확인해보니 아래와 같은 에러가 발생하였다. Traceback (most recent call last): File "/data2/airflow/lib/python3.7/site-packages/lockfile/pidlockfile.py", line 77, in acquire write_pid_to_pidfile(self.path) File "/data2/airflow/lib/python3.7/site-packages/lockf.. 2023. 6. 21. [Snowflake] 6. Data Sharing 이기종 DBMS 간의 데이터 동기화 이슈 기존 이기종 DBMS 간에 TDS 프로토콜을 사용해서 데이터를 공유하는 방식은 여러가지 문제점을 발생 시켰다. 이는 DBMS 마다 데이터 저장 방식과 데이터 형식, 스키마, 데이터 처리 방식, 엔진 등이 다르기 때문에 발생한 이슈이다. *TDS (Tabular Data Stream) 프로토콜이란 데이터베이스 서버와 클라이언트 간에 데이터를 전송하는 데 사용되는 애플리케이션 계층 프로토콜이다. 서로 다른 데이터 저장소끼리 데이터를 공유하기 위해서 발생하는 대표적인 동기화 이슈 다섯 가지는 아래와 같다. 이기종 환경 간의 데이터 복사 및 이동 필요 데이터 동기화 지연 발생 : 업무 영향도 발생 데이터 파이프라인 생성 및 관리 : 비용 이슈 여러 데이터 플랫폼과의 동기.. 2023. 6. 9. [Snowflake] 5. Security & Governance Snowkflake의 보안을 네트워크 제어, 사용자 인증 및 관리, 거버넌스 및 권한, 데이터 보호, 데이터 암호화 5가지 분야 별로 간략히 정리했다. Network Controls Snowflake의 Network Controls은 사용자가 Snowflake에 접근하고 있는 클라이언트와 Snowflake 서비스 간의 네트워크 통신을 보호하고 관리하기 위한 기능이다. CSP Private Network Snowflake은 CSP Private Network를 지원하며, 이를 사용하여 사용자가 클라우드 서비스를 보다 안전하게 사용할 수 있다. CSP Private Network는 공용 인터넷을 우회하여 CSP에서 제공하는 프라이빗 네트워크를 통해 보다 안전한 통신이 가능하도록 한다. 이를 통해 고객의 데이.. 2023. 6. 9. [Snowflake] 4. Service Layer Intelligence Infrastructure인 완전 관리형 서비스로서 자동화를 통해 위험을 줄이고 효율성을 개선하여 사용자가 중요한 일에 더욱 집중할 수 있도록 도와주는 계층이다. Cloud Service 계층에는 인증, 보안, 데이터 관리 및 쿼리 최적화와 같이 Snowflake 전체에서 조정하는 모든 작업이 포함된다. Cloud Service 계층은 서로 다른 가용 영역에서 작동하고 액세스 및 사용 가능성이 높은 정보를 사용하는 상태 비저장 컴퓨팅 리소스이다. DDL 및 DML과 같은 데이터 작업을 위한 SQL 클라이언트 인터페이스를 제공한다. 캐싱 자동화 쿼리를 처리하는데 필요한 컴퓨팅 리소스는 쿼리의 크기와 복잡성에 따라 다르다. 쿼리가 복잡해질수록 더 큰 Virtual Warehouse가 .. 2023. 6. 9. [Snowflake] 3. Compute Layer Storage Layer와 완전히 분리된 Compute Layer는 하나의 데이터에 대하여 여러가지 워크로드가 액세스 할 수 있다. 스토리지에서 분리되어 있는 특징 때문에 운영 중단 없이 즉각적이고 독립적으로 확장이 가능하다. 또한 워크로드 간의 완벽한 분리가 가능하기 때문에 리소스 경쟁을 제거할 수 있고 트랜잭션의 일관성도 유지할 수 있다. 아래에서 자세히 살펴보자. 1. What is Virtual Warehouse? Virtual Warehouse는 최신 데이터 웨어하우스를 지원하는 컴퓨팅 클러스터의 또 다른 용어이다. 메모리, 임시 저장소 및 CPU를 포함한 리소스를 제공하여 SQL 실행 및 DML(Data Manipulation Language)을 위해 언제든지 활용하고 필요하지 않을 때 끌 수.. 2023. 6. 9. [Snowflake] 2. Storage Layer Compute Layer와 완전히 분리되어 있는 통합/단일 저장소 계층이다. Snowflake에서 사용되는 모든 데이터는 centralized되어 이 storage에 저장된다. 특징과 기능들을 하나씩 알아보자. 특징 통합된 데이터 저장소 정형, 반정형, 비정형 데이터를 위한 통합 저장소를 제공 분산되어 저장되지 않고, 통합 저장소 한 곳에만 저장되어 replica 생성 불필요 필요 시 데이터 볼륨이 On-Demand 방식으로 자동 확장 간편한 관리 최적화된 압축(80% 이상) 및 강력한 데이터 보안 지원 유연성 및 통합성 지원 S3와 같은 클라우드 저장소, Iceberg와 같은 open source 및 On-Premise에 저장된 외부 데이터 직접 연결 지원 Stage & Table Snowflake에는.. 2023. 6. 9. 이전 1 2 3 4 5 6 다음
