Skip to main content

DWA (Data Warehouse Automation) – v2 Versionsnoteringar

Version: 2025.6.1
Utgivningsdatum: 16 juni 2025

Den här versionen introducerar omfattande stöd för Microsoft Fabric, vilket gör att hela automationssviten kan köras på Microsofts senaste analysplattform. Den innehåller också en betydande ny OpenLineage-integration för förbättrad spårbarhet av data och en ny JWT-autentiseringsmetod för förbättrad, enhetlig säkerhet över alla API:er.

SQL Execution Engine​

En sammanfattning av alla ändringar i exekveringsmotorn.

🚀 Funktioner​

  • Lade till direkt stöd för Microsoft Fabric-arbetslaster, inklusive anslutning med Service Principal-autentisering för säker, automatiserad åtkomst.
  • Införde OpenLineage-integration som fångar start- och sluthändelser för alla exekveringar, vilket ger robust jobbövervakning och spårning av datahärkomst.

🐛 Buggfixar​

  • Förbättrade felrapporteringen genom att ta bort en kontrollmekanism som kunde dölja underliggande databasfel under exekvering.

🔧 Underhåll​

  • Standardiserade namnet på miljökonfigurationsfilen från mq.settings.env till mq.env.

SQL Generator API​

En sammanfattning av alla ändringar i SQL-genereringslogiken och mallarna.

🚀 Funktioner​

  • Implementerade fullständig SQL-genereringskompatibilitet för Microsoft Fabric, inklusive en ny fabric-dialekt och uppdaterad logik för alla centrala laddningsmönster.
  • Driftsatte en ny, säker JWT OAUTH2.0-autentiseringsmetod, vilket möjliggör en samordnad och enhetlig användarbas över alla API:er.
  • Lade till nya "Order by"-parametrar i mönstren AttributeLoader, Publisher och RelationLoader för mer kontroll över utdata.

🐛 Buggfixar​

  • Korrigerade genereringen av fullständiga ADLS-URL:er för OPENROWSET-kommandon.
  • Fixade ett problem med felaktiga tecken i loggningskolumner vid stage-laddningar.
  • Korrigerade ett mindre namngivningsproblem i genererad statistik.
  • Ändrade Snowflakes datatypkonverteringar till att vara mer toleranta mot tomma JSON-strängar, vilket förhindrar fel i publiceraren.

🔧 Underhåll​

  • Alla SQL-mönster omstrukturerades till att använda temporära tabeller (#temp), vilket förbättrar tillförlitligheten och följer bästa praxis för SQL Server.
  • Mönstret för relationsladdning uppdaterades för att närmare följa beteendet i Synapse och SQL Server.
  • Omstrukturerade intern kontexthantering i SQL-mallarna för renare och mer underhållbar kod.