Skip to main content

Active Metadata Engine (AME) – v2 Versionsnoteringar

Version: 25.10 Utgivningsdatum: 1 december 2025

Denna version levererar stora förbättringar över Service API och SQL Generator API, vilket avsevärt utökar plattformens metadataintelligens och automatiseringsförmågor. Service API introducerar avancerad fältkategorisering, förfinad ingest-flödeskontroll, nya workload-hanteringsändpunkter och en bred uppsättning förbättringar av lineage, revision, schemaläggning och källfilsmetadatahantering. Samtidigt får SQL Generator API kraftfull ny SQL-genereringslogik—inklusive list-split-arv, förbättrad formatering, CROSS APPLY-stöd och avancerad multi-fil-utdatahantering—parad med många tillförlitlighets- och kompatibilitetsfixar. Tillsammans fördjupar dessa uppdateringar lineage-noggrannhet, stärker ingest-styrning och moderniserar SQL-generering för komplexa hierarkiska datastrukturer.

Service API​

🚀 Funktioner

  • Introducerade FieldCategorization-modell med nya endpoints för att hämta, skapa och uppdatera fältdomänkategoriseringar, inklusive fullständig versionsspårning.
  • Lade till fullständigt stöd för ingest claimed logic och dataklassificeringar, förbättrade ingest-flödeskontroll.
  • Implementerade ett nytt startWorkload API och anslutningslogik, möjliggör explicit workload-initiering och tillståndshantering.
  • Förbättrade loggning och publisher-funktionalitet med nya log-by-date endpoints och ytterligare attribut i loggtabeller.
  • Lade till stöd för SplitToTable på källfilsnivå, inklusive nya endpoints och förfinad validering.
  • Utökade OpenLineage-funktionalitet med förbättrade stagmönster, betrodd datasethantering, namespace-fixar, PDQ view-integration och detaljerade/attributnivå lineage-alternativ.
  • Lade till förmåga att köra om fil- och anpassade ingest-källtyper.
  • Introducerade ett nytt API för omplanering av ingest-flöden med förbättrad datumhantering (useAsValidFrom, mappinguppdateringar).
  • Lade till nya attribut och metadatafält över SourceFiles och relaterade endpoints (listLevels, targetNormalization, ytterligare kolumner, uppdaterade stagscheman).
  • Lade till revisionsendpoints för publisher-arbetsflöden och förbättrad originalmeddelande-loggning.

🐛 Buggfixar

  • Korrigerade logik för workload-claiming, SQL-statusjämförelser och transaktionskonsistens.
  • Fixade flera SQL-problem (datatypkonverteringar, substring-args, coalesce-hantering, fel-tabell-inserts, saknade kolumner i merge-statements).
  • Fixade SplitToTable- och SourceFile-valideringsproblem, inklusive skip-file-logik och korrigerade kolumnnamn.
  • Korrigerade flera namespace-problem i OpenLineage (betrodda datasets, stagmönster, versalhantering, relationsschemat).
  • Reparerade endpoint-regressioner för post_lastfiltervalue, inklusive korrigerade URLs, validering och hantering av tomma filterkolumner.
  • Fixade olika justerings-, stavfel- och standardvärdesproblem över ingest- och publisher-API:er.
  • Säkerställde att f_-prefix inte felaktigt sätts som standard på fältnamn.

🔧 Underhåll

  • Omstrukturerade SQL-frågor över scheduler-, ingest- och workload-logik för tydlighet och prestanda (inklusive stöd för never schedule-typer).
  • Rensade oanvända funktioner, förbättrade kommentarer och effektiviserade logik i OpenLineage- och relationsmapping-API:er.
  • Uppdaterade loggscheman med nya kolumner, omdöpta fält och förbättrad felmeddelandehantering.
  • Förbättrade hantering av DLS namespace-parametrar och förbättrade SourceFiles metadata-representation.
  • Allmän rensning: tog bort vilseledande print-statements, uppdaterade valideringar, sammanfogade master-grenar och justerade versionering (API v3.2).

SQL Generator API​

🚀 Funktioner

  • Lade till list-split med child inclusion, möjliggör parent-nivå SQL-generering som automatiskt inkluderar child-nivåer medan djupare ättlingar kasseras.
  • Introducerade en ny SQL-formatter och förbättrad nyckelutbredningslogik över nästlade strukturer.
  • Implementerade CROSS APPLY-stöd för Microsoft SQL-publiceringsmönster.
  • Lade till stöd för att dela en enda inputfil i flera SQL-outputs, förbättrade modularitet och prestanda.
  • Introducerade snabbare join-strategier för publisher-arbetsflöden, optimerade för mindre delmängder.
  • Lade till standardnyckelkolumner för att förhindra SQL-fel och förbättrad checksum-hantering på korrekta hierarkinivåer.

🐛 Buggfixar

  • Fixade korrupt kommentarhantering och säkerställde att kommentarer returneras som riktiga strängar snarare än textlistor.
  • Löste problem relaterade till hierarkisk filladdning (sökvägsmismatcher, aliasing, felaktiga fältsökvägar och . vs ->-missbruk).
  • Korrigerade flera integritets- och byggordningsproblem, förbättrade SQL-mallgenereringsstabilitet.
  • Fixade saknade blob-filsökvägar, tokenläckage och felaktiga SQL where-villkor för Synapse.
  • Adresserade bakåtkompatibilitetsfel för DEFAULTCOLUMNS genom att introducera separata mallar.
  • Fixade många stavfel, versalproblem och justeringsproblem som påverkade SQL-genereringskonsistens.

🔧 Underhåll

  • Rensade repository-rutter och tog bort obsoleta endpoints.
  • Lade till rikare felmeddelanden och förbättrade debug-output för join-optimering.
  • Uppdaterade SQL-generator för att använda korrekt API-version och förbättrade versionsnamning för temporära output-filer.
  • Applicerade konsistenta casing-strategier på final SQL-output och förbättrade standardkolumnsökvägsdefinitioner.
  • Förbättrade splitting-to-table-arbetsflöde: lade till unit tests, slutförde nödvändig logik och optimerade sample-row-generering.