분류 전체보기35 [NiFi] NiFi-1.15.0 설치 및 간단한 ETL CentOS7에 NiFi를 설치해보려고 한다. 환경 정보 확인(CentOS 7.9, OpenJDK 1.8) [hadoop@node1 ~]$ cat /etc/system-release CentOS Linux release 7.9.2009 (Core) [hadoop@node1 ~]$ [hadoop@node1 ~]$ java -version openjdk version "1.8.0_322" OpenJDK Runtime Environment (build 1.8.0_322-b06) OpenJDK 64-Bit Server VM (build 25.322-b06, mixed mode) [hadoop@node1 ~]$ NiFi 설치파일 다운로드(nifi-1.15.0-bin-zip) 후 /opt 업로드 압축 해제 뒤 심볼.. 2022. 4. 19. [NiFi]NiFi 개념 및 Clustering NiFi란? Apache NiFI는 데이터를 가져오고 이를 처리한 후 적재하기 위한 ETL Tools의 일종으로 분산환경에서 대량의 데이터를 수집, 처리하며 FBP 개념을 구현하여 만든 오픈소스이다. FBP개념이란 흐름 기반 프로그래밍(Flow Based Programming)을 말하며 사전에 DATA FLOW를 정의한 후 이를 지속적으로 유지하면서 데이터를 교환하는 프로그래밍 패러다임을 말한다. NiFi는 시스템 간의 '데이터 흐름'을 자동화하도록 구축되어 있으며 '데이터 흐름'이라는 용어는 다양한 맥락에서 사용되지만 여기서는 시스템 간의 자동화 되고 관리되는 정보 흐름을 의미한다. 장점 실시간 처리에 매우 적합 (파일 생성 시 실시간으로 다른 DB에 저장, FTP로 전송 가능) Zero Mastser.. 2022. 4. 19. [Hive]HiveServer2 와 Beeline HiveServer2는 Hiveserver1의 후속으로 클라이언트가 하이브에 대해 쿼리를 실행할 수 있게 해주는 서비스이다. HiveServer2는 다중 클라이언트 동시성 및 인증을 지원한다. JDBC 및 ODBC와 같은 공개 API 클라이언트를 지원한다 Thrfit 기반 하이브 서비스 (TCP 또는 HTTP)와 웹 UI용 Jetty 웹 서버를 포함하는 복합 서비스로 실행되는 단일 프로세스 Thrift 기반 하이브 서비스는 HS2의 핵심이며 하이브 쿼리 서비스를 담당한다. Thrift는 플랫폼 간 서비스를 구축하기 위한 RPC 프레임워크이다. HiveServer2는 HTTP 전송을 위해 Thrift RPC 메시지 전송을 지원한다. 이는 클라이언트와 서버 간의 프록시 중개자를 지원하는 데 특히 유용하다. .. 2022. 3. 16. [Hive] Hive 3.1.2 설치 (CentOS7, metastore - PostgreSQL) CenOS7에 Hive를 설치해보려고 한다. metastore는 PostgreSQL. Local metastore는 Hive와 같은 JVM에서 동작한다. 메타 데이터는 외부의 RDBMS에 저장되며 여러 사용자가 동시에 접근 가능하다. Embedded metastore(derby)는 한번에 한 명의 유저만 접근이 가능하기 때문에 주로 테스트 용도로 쓰인다. 이 글에서는 여러 사용자가 사용할 수 있는 Local metastore(PostgreSQL)를 사용하여 Hive를 설치하려고 한다. 설치파일 다운로드 후 압축 풀기 [hadoop@node3 ~]$ sudo yum install -y postgresql11-server postgresql11-contrib PostgreSQL 초기화 [hadoop@node.. 2022. 3. 16. [Hadoop3] CentOS7 HA Hadoop Cluster 설치 High Availability(HA) Hadoop Cluster를 설치하는 방법에 대해 알아본다. 총 세 대의 CentOS 서버를 사용하여 설치한다. node1 (192.168.56.102) node2 (192.168.56.103) node3 (192.168.56.104) zookeeper zookeeper zookeeper NameNode NameNode JournalNode JournalNode JournalNode Node Manager Resource Manager Node Manager DataNode DataNode DataNode root 계정으로도 설치가 가능하지만 되도록 hadoop 계정을 새로 만들어서 설치하는 것을 권장한다. adduser hadoop passwd hadoop 모든 .. 2022. 3. 15. 이전 1 ··· 3 4 5 6 다음
