Logo es.boatexistence.com

¿Qué son los dags en el flujo de aire?

Tabla de contenido:

¿Qué son los dags en el flujo de aire?
¿Qué son los dags en el flujo de aire?

Video: ¿Qué son los dags en el flujo de aire?

Video: ¿Qué son los dags en el flujo de aire?
Video: 3 Maneras de ver el flujo de aire invisible 2024, Mayo
Anonim

DAG. En Airflow, un DAG, o un gráfico acíclico dirigido, es una colección de todas las tareas que desea ejecutar, organizadas de una manera que refleja sus relaciones y dependencias.

¿Cómo se crean DAG en Airflow?

Para crear un DAG en Airflow, siempre tiene que importar la clase DAG Después de la clase DAG, vienen las importaciones de Operadores. Básicamente, por cada Operador que quieras usar, tienes que hacer la importación correspondiente. Por ejemplo, si desea ejecutar una función de Python, debe importar PythonOperator.

¿Dónde busca Airflow los DAG?

Airflow busca en su DAGS_FOLDER módulos que contienen objetos DAG en su espacio de nombres global y agrega los objetos que encuentra en el DagBag.

¿Cómo almacena Airflow los DAG?

Base de datos de metadatos de Apache Airflow:

La base de datos de metadatos almacena configuraciones, como variables y conexiones También almacena información de usuario, roles y políticas. Finalmente, el Programador analiza todos los DAG y almacena metadatos relevantes, como intervalos de programación, estadísticas de cada ejecución y sus tareas.

¿Airflow es una herramienta ETL?

Airflow no es una herramienta ETL per se. Pero administra, estructura y organiza canalizaciones ETL utilizando algo llamado Gráficos acíclicos dirigidos (DAG). … La base de datos de metadatos almacena flujos de trabajo/tareas (DAG).

Recomendado: