Skip to main content

INGEST (Data Importer) – v2 Versionsnoteringar

Version: 25.10 Utgivningsdatum: 1 december 2025

Denna version medför betydande framsteg inom ingestionsprestanda, skalbarhet och molninteroperabilitet. Den introducerar fullständig DuckDB-driven Change Data Capture, nya streaming download-funktioner över alla större lagringsplattformar och utökad importer/exporter-täckning inklusive API, ADLS Gen1/Gen2 och förbättrade filsystemoperationer. Betydande förbättringar inom workload-hantering, S3-partitionshantering och JSON-serialisering stärker ytterligare ingestionstillförlitlighet. Parad med omfattande optimeringar i minnesanvändning, chunking, komprimering och molneventhantering levererar denna uppdatering en märkbart mer effektiv och motståndskraftig ingestionspipeline för storskalig, multi-moln databehandling.

Ingestionmotor​

🚀 Funktioner

  • Lade till fullständiga Change Data Capture (CDC)-funktioner med DuckDB, inklusive effektiv diffing, jämförelse och filbaserade CDC-arbetsflöden.
  • Introducerade streaming download-stöd för SFTP-, ADLS- och S3-exporters, möjliggör låg-minnes stora-fil-ingestion.
  • Implementerade en ny apiExporter med fullständigt OAuth 2.0-, bearer token-, basic auth- och certifikatautentiseringsstöd.
  • Lade till Azure Data Lake Gen1 & Gen2-importers, plus flera förbättringar av ADLS-uppladdning med block-blob-staging för tillförlitlighet.
  • Introducerade en dedikerad fileSystemExporter med filbläddring, tidsstämpel-/filnamnsfiltrering, multi-sökvägs binär export och komprimeringsstöd.
  • Lade till stöd för komprimerade mellanfiler, förbättrad gzip-hantering och optimerad komprimeringsprestanda.
  • Aktiverade partition-medveten S3-bläddring, inklusive dynamisk partitionsupptäckt och förbättrad tidsintervallsökning.
  • Implementerade start_workload och workload-slutförandehantering för mer robust workload-hantering.
  • Lade till 5GB output-filsstöd, justerade exportbeteende med stora dataset-krav.
  • Integrerade orjson för snabb JSON-serialisering i exporters.
  • Lade till BlobCreationTrigger och andra molnevent-förbättringar för att förbättra integrationstillförlitlighet.

🐛 Buggfixar

  • Fixade indenteringsfel i SftpExporter som orsakade dåligt mappingbeteende.
  • Korrigerade filmönstermatchning och wildcard-hantering i fileSystemExporter.
  • Fixade exekveringsordningsproblem i exportarbetsflöden.
  • Löste flera datatypkonverteringsproblem i BuildSQL, post_lastfiltervalue och tableexport-logik.
  • Reparerade incremental fetch-logik och fixade indexeringsproblem i dbExporter.
  • Korrigerade filterColumn-hantering och datatyp-inferens när tom.
  • Fixade sökvägsnormaliseringsproblem som orsakade felaktiga rotmappar i S3/Azure.
  • Löste endpoint-problem i post_lastfiltervalue, inklusive korrigerad POST URL och återställning av breaking changes.

🔧 Underhåll

  • Omfattande DuckDB-optimeringar:
    • Förbättrade minnesgränser och filstorleksbegränsningar.
    • Aktiverade disk spilling, inaktiverade parallel execution och justerade chunk-storlekar.
    • Lade till sekventiell operationsstöd och minneseffektiv radstreaming via generatorer.
  • Stora omstruktureringar över exporters för att förbättra minneseffektivitet, chunking och filskrivning:
    • Konsoliderade binär fillogik.
    • Optimerade CDC-filhantering och filnamnsormalisering.
    • Lade till dynamisk chunk-storleksestimering baserad på DuckDB-kolumntyper.
  • Förbättrade temporär filhantering och S3-prestanda genom bättre storleksspårning och rensningslogik.
  • Förbättrade loggning över S3-, filesystem-, DB-exporters och ingestionarbetsflöden.
  • Uppdaterade ingester för att stödja exporter-mapping-konfigurationsfiler.
  • Tog bort debug-kod och förenklad bearbetningsvägar för att öka prestanda och tillförlitlighet.