분류 전체보기35 Kubernetes 클러스터 구축 Centos 7 vm 3대 CPU : 2 Core 메모리 : 10240MB Kubernetes v1.27.1 K8S 클러스터 구성 HOSTNAME IP ADDRESS ROLE k8s-master 192.168.56.141 control-plane k8s-node1 192.168.56.142 worker-node k8s-node2 192.168.56.143 worker-node 1. VM 세팅 공통적인 서버 세팅을 끝낸 다음 CLONE 하는 방법을 택하였다. 그리고 쿠버네티스 설치를 하다 보면 여러가지 에러가 발생할 가능성이 높은데 한번 설정이 꼬이기 시작하면 바로 잡는 것이 쉽지 않기 때문에 CLONE까지 하고 난 다음 각 서버마다 Snapshot 생성하는 것을 추천한다. /etc/hosts 설정 192.. 2023. 5. 23. EL 함수를 활용한 일자 동적 변환 배경 ETL을 수행하던 중 일부 시스템 연계 방안 고도화를 진행할 예정이다. 기존 시스템은 crontab으로 DA 적재 배치를 수행하였는데 이를 oozie를 사용하는 것으로 변경하려고 한다. 우지는 각각의 job들의 시작과 종결, 그 사이의 각종 분기 조건 등을 지정해 자동화하거나 스케줄링하도록 도와주는 빅데이터 솔루션이다. EL 함수란 우지를 통해 작업흐름을 관리하는 방법으로서 워크플로우 job을 수행할 때 여러 가지 파라미터를 사용할 수 있다. 여기에는 wf job 속성의 정의하는 것(workflow job properties)과 표현 언어(expression language)를 이용하는 두 가지 방식이 존재하는데 그중 표현 언어(EL) 함수를 사용한 예를 살펴보려고 한다. 기존 처리 과정은 HIVE.. 2022. 6. 8. Hive Partition 하이브는 파일 기반 테이블을 사용하기 때문에 데이터 조회 시 모든 ROW 정보를 읽고 처리하는 방식이다. 따라서 데이터가 많아질수록 속도는 당연히 느려지게 된다. 이를 해결하기 위한 것이 Partition을 사용하는 것이다. 데이터를 저장할 때 특정 키 기준으로 파티션을 구성하면 해당 파티션만 읽기 때문에 데이터 처리 속도가 빨라지게 된다. 파티션은 데이터를 디렉터리로 분리하여 저장하고 파티션 컬럼을 hive query WHERE 조건에 컬럼처럼 사용할 수 있다. 파티션 테이블 생성 CREATE EXTERNAL TABLE partitionbychargingmode ( charging_station_name string, address string, charger_capacity string, charge.. 2022. 5. 26. [Hue] oozie ssh 설정 hue에서 oozie로 간단한 테스트 작업을 하던 중 서버 세 대로 구성된 클러스터에서 ssh로 연결이 필요했다. ssh는 source server에서 target server로 ssh 통신을 하는 것이다. hue에 hdfs 유저로 로그인을 하고 다른 서버의 hadoop 계정으로 접근이 필요해서 source 서버의 hdfs 계정으로 키젠을 생성해서 target 서버 hadoop 계정으로 공개키를 복사했는데 여전히 접근이 되지 않았다. 이는 hdfs 계정이 아니라 oozie 계정으로 키젠을 생성해서 배포해줘야 하는 것이다. hue에 어떤 계정으로 로그인을 했더라도 모든 설정은 oozie 계정을 통해 접근하기 때문에 로그인한 계정이 아니라 하둡 내의 oozie 계정으로 설정을 해줘야 한다. 2022. 5. 26. Python에서 PostgreSQL 연결을 위한 설정 1. postgresql.conf 설정 postgreSQL에 대한 클라이언트의 연결을 허용할 호스트와 IP 주소를 설정한다. listen_addressed = '*' port = 35432 2. pg_hba.conf 설정 클라이언트의 주소와 역할 이름을 지정하고 모든 데이터베이스에 연결을 허용할지 여부를 설정한다. TYPEDATABASE USER ADDRESS METHOD # IPv4 local connections: hostallall0.0.0.0/0md5 **127.0.0.1/32**는 로컬 루프백 주소라고 하는 주소에서 자신을 나타내는 IP 주소이다. 이 경우에는 PostgreSQL이 실행 중인 서버의 IP주소를 말하고 localhost와도 같은 의미이다. 3. postgreSQL 포트 연결(doc.. 2022. 5. 20. [PostgreSQL] 커맨드 간단 정리 1. 데이터베이스 목록 조회 postgres=# select datname from pg_database; datname ----------- postgres template1 template0 dvdrental (4개 행) postgres=# \l 데이터베이스 목록 이름 | 소유주 | 인코딩 | Collate | Ctype | 액세스 권한 -----------+----------+--------+------------------+------------------+----------------------- dvdrental | postgres | UTF8 | Korean_Korea.949 | Korean_Korea.949 | postgres | postgres | UTF8 | Korean_Korea.94.. 2022. 5. 20. 이전 1 2 3 4 5 6 다음
