in

Configure un entorno de flujo de aire en AWS en minutos

Configure un entorno de flujo de aire en AWS en minutos

Introducción a Amazon Managed Apache Airflow

Brent Lemieux

14 abr·6 min de lectura

Foto de Ashkan Forouzani en Unsplash

Motivación

¿Por qué Airflow?

¿Por qué Amazon Managed Airflow?

Empecemos

Pasos

Configuración de la cuenta de AWS

Crear un DAG de prueba

# test_dag.py# This code borrows heavily from https://airflow.apache.org/docs/apache-airflow/stable/tutorial.htmlfrom datetime import timedelta
import logging
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from airflow.utils.dates import days_ago
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'email': ['brent@brentlemieux.com'],
'email_on_failure': True,
'email_on_retry': False,
'retries': 1,
'retry_delay': timedelta(minutes=5),
}
dag = DAG(
'simple_demo',
default_args=default_args,
description='A simple DAG with a few Python tasks.',
schedule_interval=timedelta(days=1),
start_date=days_ago(2),
tags=['example'],
)
### PYTHON FUNCTIONS
def log_context(**kwargs):
for key, value in kwargs.items():
logging.info(f"Context key {key} = {value}")
def compute_product(a=None, b=None):
logging.info(f"Inputs: a={a}, b={b}")
if a == None or b == None:
return None
return a * b
### OPERATORS
t1 = PythonOperator(
task_id="task1",
python_callable=log_context,
dag=dag
)
t2 = PythonOperator(
task_id="task2",
python_callable=compute_product,
op_kwargs={'a': 3, 'b': 5},
dag=dag
)
t1 >> t2

Configurar paquetes de código abierto para el entorno de flujo de aire

# requirements.txt example
apache-airflow[amazon]==1.10.12
boto3==1.17.44

Cree el entorno de flujo de aire

1*9JTJ0AYhi75G95o5kEi8 w

1*jaNS2 XSRia5CPYbOI9j6Q

1*GjoWz4vBIuHzIgp2lssaew

1*BaWE8HkrCwZ 0Y5nZ0Qawg

1*ATzZ3UP9SgYgn9TpOC0pRA

1*i4kO54 ETT67GsFc0CXJA

1*rnO 4qs5Nt Afsiq9lbR5w

1*aeZaQ88Qa2IUZVfcAogo8A

Accede a la interfaz de usuario de Airflow

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

movil facebook

Cómo borrar o borrar la foto de portada de mi perfil de Facebook

1632804049 social og oracle badge

Servicio de Streaming | Oráculo