Publicado : May 19, 2020
NO EN LA EDICI?N ACTUAL
Este blip no est¨¢ en la edici¨®n actual del Radar. Si ha aparecido en una de las ¨²ltimas ediciones, es probable que siga siendo relevante. Si es m¨¢s antiguo, es posible que ya no sea relevante y que nuestra valoraci¨®n sea diferente hoy en d¨ªa. Desgraciadamente, no tenemos el ancho de banda necesario para revisar continuamente los anuncios de ediciones anteriores del Radar.
Entender m¨¢s
May 2020
Evaluar
A¨²n existen algunas brechas de herramientas cuando se aplican buenas pr¨¢cticas de ingenier¨ªa de software en la ingenier¨ªa de datos. Uno de nuestros equipos, al intentar automatizar las revisiones de calidad de datos entre las distintas etapas de un pipeline de datos, se sorprendi¨® cuando apenas encontraron herramientas en este espacio. Finalmente, se decidieron por usar , una biblioteca para escribir pruebas para conjuntos de datos que se asemejan a las pruebas unitarias. Deequ est¨¢ construido sobre Apache Spark, y aunque es publicado por AWS Labs puede ser usado en entornos diferentes a AWS.
