En los a?os recientes hemos visto el surgimiento de herramientas de manejo de flujos de trabajo gen¨¦ricas y espec¨ªficas de dominio. Entre los factores que han impulsado este crecimiento tenemos el incremento en el uso de pipelines de procesamiento de datos y la automatizaci¨®n del proceso de desarrollo del modelo de machine learning (ML). es una de las herramientas tempranas de c¨®digo abierto de orquestaci¨®n de tareas que popularizaron la definici¨®n de grafos ac¨ªclicos dirigidos (DAGs) como c¨®digo, una mejora con respecto a una configuraci¨®n de pipeline XML/YAML. Aunque Airflow permanece como una de las herramientas de orquestaci¨®n m¨¢s ampliamente utilizadas, les alentamos a evaluar otras herramientas basadas en su situaci¨®n espec¨ªfica. Por ejemplo, podr¨ªan escoger Prefect, que soporta tareas din¨¢micas de procesamiento de datos como preocupaci¨®n de primera clase con funciones Python genericas como tareas; o si prefieres una integraci¨®n estrecha con Lubernetes; o Kubeflow; o MLflow para flujos de trabajo espec¨ªficos de ML. Dado el surgimiento de nuevas herramientas, combinado con algunas de las carencias de Airflow (como la falta de soporte nativo para flujos din¨¢micos y su enfoque centralizado para calendarizar pipelines) no recomendamos Airflow como la herramienta de orquestaci¨®n por defecto. Creemos que con el incremento en el uso de streaming en analytics y pipelines de datos, asi como el manejo de datos a trav¨¦s de un decentralized data mesh, se reduce la necesidad de herramientas de orquestaci¨®n para definir y manejar complejos pipelines de procesamiento de datos.
sigue siendo nuestra herramienta de c¨®digo abierto favorita y m¨¢s utilizada para la gesti¨®n de flujos de trabajo para pipelines de procesamiento de datos como grafos ac¨ªclicos dirigidos (DAGs). Esta es un ¨¢rea en crecimiento con herramientas de c¨®digo abierto como , y herramientas m¨¢s espec¨ªficas como o . Sin embargo, Airflow se diferencia porque su definici¨®n program¨¢tica de flujos de trabajo se realiza en archivos de configuraci¨®n con poco c¨®digo, provee soporte para pruebas automatizadas, es de c¨®digo abierto, es multiplataforma, ofrece muchas posibilidades de integraci¨®n con el ecosistema de datos y tiene soporte de una gran comunidad. No obstante, en arquitecturas de datos descentralizadas, como la malla de datos, esta herramienta se puede usar como un orquestador centralizado de flujos de trabajo.
is a tool to programmatically create, schedule and monitor data pipelines. By treating Directed Acyclic Graphs (DAGs) as code, it encourages maintainable, versionable and testable data pipelines. We've leveraged this configuration in our projects to create dynamic pipelines that resulted in lean and explicit data workflows. Airflow makes it easy to define your operators and executors and to extend the library so that it fits the level of abstraction that suits your environment.
