Skip to main content

INGEST (Data Importer) – v3 Versionsnoteringar

Version: 3.2 Ersätter: release/v25.10.1

3.2-linjen breddar kopplingstäckningen, skriver om CDC-motorn för stora extrakt, och formaliserar arbetslastens exekveringslivscykel. Se Vad förändras i 3.2 för helhetsbilden.

🚀 Funktioner

  • Utökade kopplingar och strömning. Lade till en dedikerad exporterfamilj för meddelandeköer (SQS, Azure Service Bus, Redis streams), en SharePoint Graph API-exporter, en Quinyx SOAP-exporter och NAS-byråfilhantering.
  • ETL-prestanda med hög genomströmning. CDC-motorn skrevs om med DuckDB-diskspill och automatisk uppdelning i delfiler om ca 2 GB, serversidiga strömmande databasmarkörer (SSCursor) lades till, och nedladdning av filer i chunkar möjliggjordes.
  • Partitionering och livscykel. Dynamisk partitionsupptäckt infördes över S3-, ADLS- och SFTP-filkällor, substitution av tidstokens standardiserades, och arbetslastens exekveringslivscykel formaliserades.

🐛 Buggfixar

  • Felpropagering i ETL. CDC-felhanteringen propagerar nu undantag direkt och låter arbetslasten misslyckas i stället för att tyst falla tillbaka på ett okomprimerat fullextrakt. Ett uppladdningsfel mitt i en lista markerar nu arbetslastens tillstånd som Error.
  • Anslutningsprotokoll. OAuth 2.0-tokenhanteringen gjordes om för att grena korrekt på grant_type, SSL:s standardverifiering korrigerades, och tolkningen av anpassade anslutningskonfigurationer fixades.
  • Fil- och partitionsoperationer. Tidszonslokalisering vid S3-partitionssökning fixades, ledande snedstreck på målsökvägar tas bort för att förhindra att tomma rotmappar skapas, och exponentiell backoff för omförsök lades till för ADLS-uppladdningar.
  • Arbetsytehygien. Arbetskatalogen städas nu automatiskt vid arbetslastens slutförande, medan filer för versionsspårning bevaras.

Uppgraderingsnoteringar​

  1. CDC-fel är inte längre tysta. En arbetslast som tidigare föll tillbaka på ett okomprimerat fullextrakt vid ett CDC-fel misslyckas nu. Kontrollera all övervakning som behandlade ett slutfört fullextrakt som en frisk CDC-körning.
  2. Målsökvägar med ledande snedstreck ändrar form. Det ledande snedstrecket tas bort, så den tomma rotmapp som sådana sökvägar tidigare skapade uppstår inte längre.
  3. OBJECTSTOREURL ersätter AZUREBLOBACCOUNTURL och är schemaneutral. Det gamla namnet fungerar fortfarande; om båda är satta vinner det nya.