Skip to main content

DLS (Data Lake Service) – v2 Versionsnoteringar

Version: 2025.10.1 Utgivningsdatum: 1 december 2025

Denna version levererar betydande förbättringar över Data Lake Service-komponenterna, stärker cross-cloud streaming, metadatahantering och publiceringsarbetsflöden. DataOrganizer har nu en enhetlig, högpresterande streaming-arkitektur för både Azure och AWS, tillsammans med förbättrad komprimering, förbättrad multipart upload-stabilitet och utökat stöd för Data Lake API-operationer. EventListener får viktiga uppdateringar för källfilsvalidering och API-kompatibilitet, medan DataPublisher introducerar mer tillförlitligt pipeline-flöde, publisher-nivåkontroller och stöd för Microsoft Fabric. Tillsammans ger dessa förbättringar en snabbare, mer robust och mer molnjusterad data lake-grund.

DataOrganizer​

🚀 Funktioner

  • Enhetlig streaming-arkitektur för Azure och AWS med konsistent 8MB chunking för förbättrad prestanda och lägre minnesanvändning.
  • Lade till ny S3 streaming-kompatibilitet, inklusive uppdaterade transfer-konfigurationer och förbättrad multipart upload-hantering.
  • Introducerade förbättrad streaming-komprimering med en omstrukturerad StreamingGzipCompressor, stöder valfri komprimering av okomprimerade streams.
  • Migrerade Azure-uppladdningar till Data Lake API med append-and-flush streaming, möjliggör bättre event-utlösning och fullständigt Hierarchical Namespace-stöd.
  • Förbättrade SDK-användning över AWS och Azure för att bättre stödja okänd-längd streams och kontinuerlig streaming utan att buffra hela filer.

🐛 Buggfixar

  • Fixade ett problem där parallella S3-uppladdningar korrupterade komprimerad data.
  • Korrigerade stream position-återställningar och trunkeringsbeteenden för att undvika korruption under uppladdningar.
  • Löste problem i komprimeringshantering relaterat till EOF, buffer flushing och datagränser.
  • Fixade sökvägsvalidering för råa destinationer genom att ta bort ledande snedstreck och verkställa avslutande snedstreck.
  • Återställde tidigare chunk size-regression för att säkerställa stabilt komprimeringsbeteende.

🔧 Underhåll

  • Omstrukturerade streamUploader- och streamDownloader-logik för att minska minnesanvändning och förenkla uppladdningsvägar.
  • Uppdaterade dokumentation och inline-kommentarer för tydlighet om streaming-beteende och API-användning.
  • Tog bort redundanta felhanteringsvägar och effektiviserade uppladdningsarbetsflöden för Azure och AWS.
  • Förbättrade övergripande stabilitet genom att standardisera komprimerings- och streaming-logik över molnleverantörer.

EventListener​

🚀 Funktioner

  • Lade till en ny update source file endpoint, förbättrade förmågan att modifiera metadata för befintliga källfiler.
  • Uppdaterade getSourceFiles läsformat för att justeras med senaste API-beteende.
  • Avancerade komponenten till API version 3.2 för förbättrad kompatibilitet och konsistens över tjänster.

🐛 Buggfixar

  • Lade till validering för att säkerställa att extraherade filekey-värden från filnamn är giltiga f-guids, förhindrar ingestion av felformade eller felaktigt namngivna filer.

🔧 Underhåll

  • Uppdaterade CircleCI-konfiguration för att justeras med ny valideringslogik och säkerställa konsistent byggbeteende.

DataPublisher​

🚀 Funktioner

  • Lade till logik för att alltid köra root step, även när splitToTables är populerad, säkerställer konsistent pipeline-exekveringsflöde.
  • Introducerade publisher-nivåhantering, förbättrade kontroll och beteende över olika publiceringslägen.
  • Lade till stöd för Microsoft Fabric, utökade kompatibilitet med moderna dataplattformar.

🐛 Buggfixar

  • Tog bort hårdkodade clientType-värden för att återställa dynamiskt beteende.
  • Flera fixar som adresserade byggfel, TypeErrors, stavfel och mindre logikproblem genom publisher-flödet.
  • Återställde tidigare endpoint-beteende för att lösa felaktig routing i vissa miljöer.

🔧 Underhåll

  • Pinnade snowflake-connector-python<4.0 för att undvika breaking changes i nyare versioner.
  • Förbättrade loggning, inklusive återställda äldre loggningsvägar och ny testloggning för bättre debugging.
  • Omorganiserade Docker Hub login-steg i CI-processen för mer tillförlitliga byggen.
  • Konsoliderade audit log-wrappers genom att flytta dem till repository.py för renare struktur.