Oozie1 EL 함수를 활용한 일자 동적 변환 배경 ETL을 수행하던 중 일부 시스템 연계 방안 고도화를 진행할 예정이다. 기존 시스템은 crontab으로 DA 적재 배치를 수행하였는데 이를 oozie를 사용하는 것으로 변경하려고 한다. 우지는 각각의 job들의 시작과 종결, 그 사이의 각종 분기 조건 등을 지정해 자동화하거나 스케줄링하도록 도와주는 빅데이터 솔루션이다. EL 함수란 우지를 통해 작업흐름을 관리하는 방법으로서 워크플로우 job을 수행할 때 여러 가지 파라미터를 사용할 수 있다. 여기에는 wf job 속성의 정의하는 것(workflow job properties)과 표현 언어(expression language)를 이용하는 두 가지 방식이 존재하는데 그중 표현 언어(EL) 함수를 사용한 예를 살펴보려고 한다. 기존 처리 과정은 HIVE.. 2022. 6. 8. 이전 1 다음
