Publicado : May 19, 2020
N?O ENTROU NA EDI??O ATUAL
Este blip n?o est¨¢ na edi??o atual do Radar. Se esteve em uma das ¨²ltimas edi??es, ¨¦ prov¨¢vel que ainda seja relevante. Se o blip for mais antigo, pode n?o ser mais relevante e nossa avalia??o pode ser diferente hoje. Infelizmente, n?o conseguimos revisar continuamente todos os blips de edi??es anteriores do Radar.
Saiba mais
May 2020
Avalie
Ainda existem algumas lacunas em ferramentas ao se aplicar boas pr¨¢ticas de engenharia de software na engenharia de dados. Tentando automatizar verifica??es de qualidade de dados entre diferentes etapas em um pipeline de dados, um de nossos times se surpreendeu ao encontrar apenas algumas ferramentas nesse espa?o. O consenso foi , uma biblioteca para escrever testes que se assemelham a testes de unidade para conjuntos de dados. Deequ foi desenvolvida com base no Apache Spark e, mesmo sendo publicada pela AWS Labs, pode ser usada em ambientes diferentes da AWS.
