[Airflow] PostgresOperator 설치 및 DB연동

PostgresOperator 설치 및 Airflow webserver connections conn_id 추가

https://www.apache.org/dyn/closer.lua/airflow/providers/apache_airflow_providers_postgres-5.4.0-py3-none-any.whl

Apache Downloads

아파치 공식 다운로드 사이트에서 설치가 가능하다

wget https://www.apache.org/dyn/closer.lua/airflow/providers/apache_airflow_providers_postgres-5.4.0-py3-none-any.whl
python -m pip install apache_airflow_providers_postgres-5.4.0-py3-none-any.whl

 

설치 후 PostgresOperator 사용가능

parameter 중 postgres_conn_id 는 airflow webserver 에서 Connections 로 추가 가능.

postgre_test = PostgresOperator(
    task_id="postgre_test",
    postgres_conn_id="postgres_default",
    sql="",
)

postgres_default 정보를 변경하기 위해 webserver 접속 후 편집.

 

connection type 에 Postgresql 이 없을 경우 Airflow 속성파일 airflow.cfg 에 속성을 추가.

[core]
...
generic_conncetion_types = ssh, tcp, Postgres, postgres
...

generic_connection_types 가 없을 경우 직접 추가 하면 됨.