Skip to main content

Data Lake Service (DLS)

Det här avsnittet ger vägledning om hur du definierar och hanterar inställningarna för en källfil, så att data överförs korrekt och effektivt från landningszonen till databasen.

Det här lär du dig här:

Källkonfiguration i UI: En guide till att konfigurera en källfil via Config UI. Det omfattar att definiera filstrukturen (datakontraktet) och de inställningar som styr hur varje leverans arkiveras och publiceras.

Konfigurera källfilen via gränssnittet​

Sidan DLS → Sources (/sourcefiles) definierar och hanterar inställningarna för en källfil: hur en inkommande leverans tolkas, var den arkiveras och hur den publiceras till den betrodda zonen.

Knappen Sources Guide överst på sidan fäller ut en kort sammanfattning av samma material direkt i appen.

Välja system och källa

    Välj system i den sökbara listan och därefter källa inom det. Add new system och Add new source skapar nya poster.

    Ändringar hålls i en arbetskopia tills du trycker på Save changes. Knappen visar No changes to save så länge formuläret är orört, en markering Unsaved changes dyker upp så snart du ändrat något, och webbläsaren varnar innan du stänger fliken med osparat arbete.

    Åtgärdsraden innehåller också Show JSON (den exakta definitionen, med nedladdningsknapp), Schema Diagram (en visuell vy över filstrukturen) och Deactivate this source.

Lägga till en ny källfil

    Add new source öppnar en dialog som frågar efter källfilens namn, filtyp, ett valfritt filnamnsmönster (lämna tomt för att återanvända källfilens namn) och en valfri beskrivning.

    En källfil kan också skapas direkt från en export: när du sparat en exportdefinition på sidan INGEST → Exports erbjuder UI:t att skapa den matchande källfilen med namn, filtyp och filnamnsmönster redan ifyllda.

De två flikarna

    Sourcefile Structure definierar filens hierarkiska struktur och relationerna mellan dess fält — datakontraktet som nedströmsprocesser och profilering validerar mot.

    Sourcefile Properties innehåller metadata samt de arkiverings- och publiceringsinställningar som beskrivs nedan.

Sourcefile Properties

    Enable data profiling (enableProfiler): Aktiverar löpande kontroller och validering av inkommande data mot datakontraktet. Det rekommenderas att låta detta vara påslaget, men det ökar lagrad volym och förbrukar beräkningsresurser, så det kan stängas av vid behov.

    Source description (description): Fritext som förklarar källfilens syfte och innehåll, upp till 255 tecken. Redigeraren visar teckenräknaren.

    Source details​

    File type (fileType): Hur källdatan ska tolkas. Tillgängliga alternativ:

    • CSV — kolumnavgränsad textdata.
    • JSON — JSON-formaterad textdata.
    • XML — XML-formaterad textdata.

    Data Modifier är komponenten inuti DLS som gör formatarbetet: den transformerar JSON, CSV och XML till en gemensam struktur, så att en leverans kan läsas via SQL nedströms oavsett vilket format den anlände i.

    Filename pattern (filenamePattern): Den unika representationen av källfilens data, som används för att identifiera alla leveranser. Flera olika exporter kan skrivas in i en och samma källfil genom att dela mönster.

    File encoding (fileEncoding): Teckenkodningen som används för att läsa de levererade filerna. Listan hämtas från plattformsinställningarna; standardvärdena är utf-8 (stödjer alla Unicode-tecken), utf-16 och windows-1252 (västeuropeiskt, kompatibelt med äldre Windows-program).

    Landing zone path (landingZonePath): Knyter källfilen till en specifik uppladdningsmapp. Användbart när flera källor levererar data med liknande eller matchande filnamnsmönster, eller när olika autentiseringsuppgifter används mot uppladdnings-/landningsbucketen.

    Expected amount of files per 24 hours (expectedAmount): Det förväntade antalet leveranser per dygn, som används som riktmärke för om en leverans är komplett. Standardvärdet är 0, vilket betyder att filen inte är förväntad; annars ett positivt heltal.

    Archiving details​

    Raw zone path (rawZonePath): Där arkiverad rådata lagras. Standard är /<system>/<source>/[YYYY]/[MM]/[DD]/ när fältet lämnas tomt. Dynamisk formatering tillämpas utifrån leveransdatumet: [YYYY] fyrsiffrigt år, [YY] tvåsiffrigt år, [MM] månad, [DD] dag, [HH] timme. Dessa anges i UTC.

    File compression type (fileCompressionType): gzip eller none. Talar om för DLS om data ska arkiveras och behandlas komprimerad. Nya källor får gzip som standard.

    File compression level (fileCompressionLevel): Visas när typen är gzip. 1 till 9, där 9 är högsta komprimering.

    Publishing details​

    Target format (targetFormat): Formatet som används när data publiceras till den betrodda zonen. Oavsett ursprunglig fileType konverteras data till:

    • TABLE — klientdatabasens eget tabellformat.
    • ICEBERG — Iceberg-tabellformat.
    • JSON — radavgränsad JSON.

    Trusted zone path (trustedZonePath): Där publicerad, betrodd data lagras. Standard är /<system>/<source>/ när fältet lämnas tomt. Samma dynamiska datumformatering som för raw zone path gäller.

    Target method (targetMethod): Hur ny data skrivs till trusted zone path:

    • APPEND — lägger till ändringar och nya poster i måltabellen. Metoden jämför inte inkommande data mot befintliga poster, så dubbletter av ändringsposter kan uppstå.
    • OVERWRITE — inkommande data skriver över befintlig data.
    • TRANSACTION — lägger till all inkommande data i måltabellen utan några kontroller.
    • CHANGES ONLY — lägger till ändringar och nya poster och jämför inkommande data mot den senast kända ändringen i måltabellen, så att inga dubbletter av ändringsposter läggs till.
    • LATEST VERSION — tillämpar ändringar och nya poster men behåller bara en version per primärnyckel.

    Hur länge Trusted går att köra om från​

    KEEPDATAINTRUSTEDFORDAYS anger hur många dagar bakåt Published kan köras om från utan att processa om från Raw. Standard är 3 dagar.

    Det är en prestandainställning, inte en retention som rensar Trusted i största allmänhet. Inom fönstret läser en Published-omkörning det som redan finns i Trusted och går snabbt. Utanför fönstret måste samma omkörning gå tillbaka till råarkivet och bearbeta framåt igen, vilket kostar i motsvarande grad. Publisher Trace stänger av Restart för en fil som är äldre än fönstret av just det skälet, och hänvisar till DLS Trace i stället.

    Att höja värdet ger billigare omkörningar längre bakåt, till priset av lagring. Att sänka det gör tvärtom. Ingenting går förlorat i något av fallen: råarkivet är permanent.

    Hur ett fälts typ avgörs​

    När ett datakontrakt genereras avgörs ett fälts typ över filnycklarna efter preferens:

    Varchar > Decimal > Integer > Timestamp > Date > Time

    Den vidaste typen vinner, så ett fält som kom som heltal i en leverans och som text i en annan typas som text i stället för att fälla den senare leveransen.

    Target table normalization (targetNormalization): Hur källstrukturen normaliseras till måltabeller:

    • NONE — strukturen publiceras som den är.
    • LISTS — repeterande listor bryts ut till egna tabeller.
    • LISTS AND OBJECTS — både listor och nästlade objekt bryts ut.

    Egenskaper för källfil i DLS: växel för dataprofilering, källbeskrivning, källdetaljer, arkiveringsdetaljer och publiceringsdetaljer

Sourcefile Structure

    Fliken Sourcefile Structure innehåller själva datakontraktet: källfilens hierarkiska struktur och egenskaperna för varje fält. Slå på Editable mode för att ändra det.

    Varje fält bär:

    • Alias (fieldAlias): namnet som används för fältet nedströms, när källans namn inte är det namn du vill ha i måltabellerna.
    • Beskrivning: fritext som följer med in i den genererade dokumentationen — och in i COMMENT på målkolumnen.
    • Datatyp: den deklarerade typen, till exempel VARCHAR(255) eller Timestamp.
    • Key order: fältets position i nyckeln. 0 betyder att fältet inte ingår i nyckeln.
    • Field order: fältets position i måltabellen.
    • Field categorization: den affärskategori fältet tillhör.
    • Flags & governance: växlar per fält som styr inkludering, exkludering, nyckeltillhörighet och skydd.

    Använd filtren ovanför listan för att bara visa nyckelfält, dölja exkluderade fält eller begränsa listan efter datatyp.

    Det du sätter här följer med till målet. Datakontraktet är inte dokumentation om flödet — det är indata som generatorn använder för att bygga tabellerna. Beskrivningen blir en kolumnkommentar, nyckelordningen blir en primärnyckel på publiceringstabellen och ett unikt villkor på core-tabellen, fältkategoriseringen blir en kategoritagg på målkolumnen, och ett fält flaggat sensitive får en känslighetstagg och, på plattformar som stödjer det, en kolumnmask. På en hierarkisk källa följer en affärsnyckels klassificering med nyckeln till varje normaliserad barntabell som ärver den. Se Vad som landar i målmiljön.

    Observera att fieldKey och path är skiftlägeskänsliga och måste matcha källfilerna exakt.

    Källfilens struktur i DLS: hierarkisk fältlista med fältegenskaper och styrningsflaggor