Airflow3 [Airflow] Airflow 3.0.2 버전 설치 드디어 Airflow의 메이저 버전 업데이트가 되었다. 25년 11월 즈음에 도커로 올려서 새롭게 변경된 UI나 여러가지 변경된 사항들을 확인했었는데, 사내에서 간단한 파이프라인을 구축하는 토이 프로젝트를 진행하였기에 기존에 사용하던 2.10.2 버전이 아닌 3.0.2 버전을 온프레미스 서버에 설치해보려고 한다. 버전: 3.0.2설치경로: /home/airflow/venvLocalExecutorMetadatabase:MySQL기본적으로 Airflow의 공식문서를 참고하였으며, 기존 Airflow 2버전과 설치과정 또는 구동 방식에 있어서 차이점이 있었는데 그러한 것들을 살펴보면 좋을 것 같다.Airflow는 기존 시스템과 파이썬 충돌을 방지하기 위해, 가상환경 위에서 설치한다. Airflow 설치(Pyt.. 2026. 1. 7. [MWAA] Airflow Unable to read remote logs from CloudWatch Airflow에서 알 수 없는 아래와 같은 에러가 발생하며 Task가 정상적으로 실행되지 않는 문제가 발생하였다. 마이그레이션 이후 아주 간헐적으로 보이던 증상이지만 바로 해소되었었는데 결국 주말 내 문제가 발생하였다.*** Unable to read remote logs from Cloudwatch (log_group: airflow-Task, log_stream: dag_id=HOURLY_BATCH/run_id=scheduled__2025-11-30T02_00_00+00_00/task_id=TG_COPY_TO_S3_APP_EVNT.UPLOAD_STATUS_BRANCH_app_evnt/attempt=1.log)*** An error occurred (ResourceNotFoundException) wh.. 2025. 12. 2. [Airflow] Airflow Webserver Daemon TroubleShooting 필요한 Operator를 설치하고 이를 반영하기 위해 Airflow를 재구동하였는데 Airflow Webserver를 실행하니 프로세스가 정상적으로 올라오지 않고 종료되었다. airflow-webserver에 대한 에러 로그를 기록하는 airflow-webserver.err 파일을 확인해보니 아래와 같은 에러가 발생하였다. Traceback (most recent call last): File "/data2/airflow/lib/python3.7/site-packages/lockfile/pidlockfile.py", line 77, in acquire write_pid_to_pidfile(self.path) File "/data2/airflow/lib/python3.7/site-packages/lockf.. 2023. 6. 21. 이전 1 다음
