BigData3 Airflow DAG에서 SQL 스키마 관리 쉽게 하기 ( 중앙집중화 버전 ) 📌 개요Airflow에서 데이터베이스를 다루다 보면 테이블명이나 컬럼명이 변경될 때마다 여러 파일을 수정해야 해서 번거로울 수 있습니다. 이 글에서는 SQL 스키마를 Python 코드 내 한곳에 집중 관리하여 유지보수를 간편하게 만드는 방법을 소개합니다.🔍 이 방법을 쓰는 이유✅ 유지보수 간편화: 변경이 필요하면 한 파일만 수정하면 끝!✅ 코드 가독성 향상: SQL 쿼리와 로직이 명확하게 분리되어 관리✅ 기존 Airflow Hook 활용: MySqlHook 등을 그대로 사용할 수 있어 변경 부담이 적음 💻 구현 예제📄 db_config.py (중앙 집중식 SQL 관리)class DBConfig: TABLE_ALERT_HISTORY = "alert_history" COL_EXECUTION.. 2025. 4. 21. [Airflow] PostgresOperator 설치 및 DB연동 PostgresOperator 설치 및 Airflow webserver connections conn_id 추가 https://www.apache.org/dyn/closer.lua/airflow/providers/apache_airflow_providers_postgres-5.4.0-py3-none-any.whl Apache Downloads www.apache.org 아파치 공식 다운로드 사이트에서 설치가 가능하다 wget https://www.apache.org/dyn/closer.lua/airflow/providers/apache_airflow_providers_postgres-5.4.0-py3-none-any.whl python -m pip install apache_airflow_provider.. 2023. 5. 10. [airflow] 설치 및 설정 (Postgresql 연동) Airflow 설치 Airflow 는 python 의 pip로 간단하게 설치가 가능하다. #AIRFLOW_HOME 을 추가하면 해당경로에 설치가 된다. export AIRFLOW_HOME=~/airflow $ python -m pip install apache-airflow 설정 1) 유저 계정 생성 # 계정 생성 명령어 $ airflow users create \ > --usernmae admin \ > --firstnmae test \ > --lastnmae youn \ > --role Admin \ > --password admin1 > --email youn@tistory.com 2) DB 초기화 Airflow는 기본적으로 SQLite 를 사용한다. 초기화를 통해 airflow 폴더에 .db 파일.. 2023. 2. 23. 이전 1 다음