NiFi2 [NiFi] NiFi-1.15.0 설치 및 간단한 ETL CentOS7에 NiFi를 설치해보려고 한다. 환경 정보 확인(CentOS 7.9, OpenJDK 1.8) [hadoop@node1 ~]$ cat /etc/system-release CentOS Linux release 7.9.2009 (Core) [hadoop@node1 ~]$ [hadoop@node1 ~]$ java -version openjdk version "1.8.0_322" OpenJDK Runtime Environment (build 1.8.0_322-b06) OpenJDK 64-Bit Server VM (build 25.322-b06, mixed mode) [hadoop@node1 ~]$ NiFi 설치파일 다운로드(nifi-1.15.0-bin-zip) 후 /opt 업로드 압축 해제 뒤 심볼.. 2022. 4. 19. [NiFi]NiFi 개념 및 Clustering NiFi란? Apache NiFI는 데이터를 가져오고 이를 처리한 후 적재하기 위한 ETL Tools의 일종으로 분산환경에서 대량의 데이터를 수집, 처리하며 FBP 개념을 구현하여 만든 오픈소스이다. FBP개념이란 흐름 기반 프로그래밍(Flow Based Programming)을 말하며 사전에 DATA FLOW를 정의한 후 이를 지속적으로 유지하면서 데이터를 교환하는 프로그래밍 패러다임을 말한다. NiFi는 시스템 간의 '데이터 흐름'을 자동화하도록 구축되어 있으며 '데이터 흐름'이라는 용어는 다양한 맥락에서 사용되지만 여기서는 시스템 간의 자동화 되고 관리되는 정보 흐름을 의미한다. 장점 실시간 처리에 매우 적합 (파일 생성 시 실시간으로 다른 DB에 저장, FTP로 전송 가능) Zero Mastser.. 2022. 4. 19. 이전 1 다음
